url='xxxxxxxxxxxxxxx'
yield scrapy.Request(
url=url,
cookies=self.cookies,
headers=self.headers,
meta={
'download_timeout': 60
},
callback=self.save,
)
rs = requests.get(url, headers=self.headers, cookies=self.cookies, timeout=60)
这可能是什么原因造成的呢?找了一圈也没发现原因。COOKIES_ENABLED 设置成 True 的
1
laihan4396a 359 天前
抓个包,或者设置个代理,看下请求的区别?
|
2
hahahalololo OP @laihan4396a 3q ,抓包后发现是 cookes 的问题,scrapy 框架对 cookies 自动处理了,少了许多
|