首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  caneman  ›  全部回复第 9 页 / 共 9 页
回复总数  161
1  2  3  4  5  6  7  8  9  
❮ ❯
2019-05-05 15:11:07 +08:00
回复了 caneman 创建的主题 › Python › Scrapy 效率瓶颈
@InternetExplorer 我试了调并发数并没有显著的影响到我的抓取速率，而且对方的站是绝对扛得住的（是个大站）。
这里我虽然写的很大，但是其实抓取频率并没有很高（所以才一直没改），而且抓取到的页面都是按顺序的，我觉得是不是我的抓取逻辑有问题，应该怎么样改善呢？
1  2  3  4  5  6  7  8  9  
❮ ❯
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   5568 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 07:14 · PVG 15:14 · LAX 00:14 · JFK 03:14
♥ Do have faith in what you're doing.