我用 scrapy 写了一个爬虫,爬一些国外公共网站的内容,之前工作正常,但这周一发现页面返回内容出错,状态码是 200 ,但是返回的内容是错误的,怀疑是爬虫被识别了
这类的公共网站一般没有什么反爬,之前做的反爬手段只有模拟浏览器头,设置一下 delay 之类的,没有使用代理,这种可以确定是反爬手段吗,大家有什么好的解决方式吗