![]() |
1
qqjt 259 天前 ![]() 怎么能被 bot 爬死啊,这体量羡慕了
|
![]() |
2
dzdh 259 天前 ![]() 同问。啥体量能让 bot 爬死。啥服务器配置啊。
|
![]() |
3
potatowish 259 天前 via iPhone
字节的 bot 才叫疯狂
|
![]() |
4
daohanghao 259 天前
我都多来爬一下,你倒好,不需要。。。
|
![]() |
6
herozzm OP @potatowish 字节的反而不咋地,一天 10 个以内,流量根本没有
|
![]() |
7
darkengine 259 天前
谷歌一秒上百次的爬?什么站这么牛啊 。。。
|
![]() |
8
herozzm OP @darkengine 不是一个站,是几个站放在一台服务器,每个站 10 个左右,加起来的并发,他们共用 cpu 资源
|
![]() |
9
HackerQED 259 天前 via iPhone
|
![]() |
10
nomagick 259 天前 ![]() 垃圾站是吧。。
|
![]() |
12
knva 259 天前
垃圾站能不能 414
|
![]() |
13
wonderfulcxm 259 天前 via iPhone
没经历的哥们很难想象,它是真的会很疯狂,我们网站也经历过,只能限制速率,不要返回 502 ,返回 503 。就一个新闻网站,有编辑团队和纸版杂志,不是什么垃圾站,话说这跟垃圾站有什么关系?
|
![]() |
14
rambeaufinal 259 天前
不能升级一下服务器的配置吗?
|
![]() |
15
NewYear 259 天前
robots.txt 不是可以规定爬取频率么,实在觉得占用性能,搞缓存啊,静态化啊
|
![]() |
17
herozzm OP @wonderfulcxm 我将 503 改成 429 ,应该也没问题吧
|
18
e3c78a97e0f8 259 天前
搞个 cache 呗,每次 GoogleBot 访问都给几分钟甚至几小时前的结果,这 CPU 利用率就能降下去了吧。
|
![]() |
19
linyongxin 259 天前
如果可以,生成静态化或缓存,减少数据库读取
|
20
nx6Ta67v2A43frV2 259 天前
在前面挂 1 个 cloudflare cdn 试试。
|
![]() |
21
oIMOo 259 天前
OP 并没有回应关于“垃圾站”的回复 - -
|