这是一个创建于 2717 天前的主题，其中的信息可能已经有所发展或是发生改变。
用久了 scrapy 想换个口味,scrapy 配置 js 异步抓取的环境还是比较麻烦的.
看了下 pyspider 的文档,用的是 PhantomJS,看起来是同步?
 |
2
binux 2016-12-08 21:34:57 +08:00  1
是非阻塞的，但是有槽位 /连接数限制
|
用久了 scrapy 想换个口味,scrapy 配置 js 异步抓取的环境还是比较麻烦的.
看了下 pyspider 的文档,用的是 PhantomJS,看起来是同步?
|
2
binux 2016-12-08 21:34:57 +08:00 1
是非阻塞的，但是有槽位 /连接数限制
|
Select Language