百度每秒抓取很多次, 导致 CPU100%, 除了限制抓取频率, 还有别的什么方法?
RickyC · 2020-12-10 14:44:08 +08:00 · 1006 次点击这是一个创建于 1475 天前的主题，其中的信息可能已经有所发展或是发生改变。
占 CPU 的进程是 php 不是 mysql, 那上 redis 也不好使吧?
 |
1
treblex 2020-12-10 14:55:24 +08:00
nginx 缓存 get 请求
另，看看是不是其他问题吧 |
 |
2
ggabc 2020-12-21 15:06:58 +08:00
假的了，百度站长那里可以控制采集密度
你看到的压力，应该是爬虫或者攻击工具冒充的 ua |
Select Language