首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
推荐学习书目
›
Learn Python the Hard Way
Python Sites
›
PyPI
- Python Package Index
›
http://diveintopython.org/toc/index.html
›
Pocoo
值得关注的项目
›
PyPy
›
Celery
›
Jinja2
›
Read the Docs
›
gevent
›
pyenv
›
virtualenv
›
Stackless Python
›
Beautiful Soup
›
结巴中文分词
›
Green Unicorn
›
Sentry
›
Shovel
›
Pyflakes
›
pytest
Python 编程
›
pep8 Checker
Styles
›
PEP 8
›
Google Python Style Guide
›
Code Style from The Hitchhiker's Guide
V2EX
›
Python
scrapy 框架是单线程执行的 twisted?
Ewig
·
2018-10-29 11:00:20 +08:00
· 2038 次点击
这是一个创建于 2173 天前的主题,其中的信息可能已经有所发展或是发生改变。
因为主要就是消息队列和事件循环,来回切换一个线程
Twisted
Scrapy
单线
队列
4 条回复
•
2018-10-30 01:03:25 +08:00
1
owenliang
2018-10-29 11:40:11 +08:00 via Android
核心就是 spider,item,queue,pipeline。
其中 spider 产生 request 到 queue,不断取出 queue 里的 request 交给 twisted 异步网络 io,网络回调后继续回到 spider 重复这个过程。
2
Ewig
OP
2018-10-29 13:58:14 +08:00
@
owenliang
那就是单线程了,
3
owenliang
2018-10-29 13:59:57 +08:00
@
Ewig
是的,是单线程,请求并发度可以配置,基于 IO 多路复用并发(不是并行)。
4
Ewig
OP
2018-10-30 01:03:25 +08:00
@
owenliang
那我理解的没错
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
1047 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 29ms ·
UTC 22:28
·
PVG 06:28
·
LAX 15:28
·
JFK 18:28
Developed with
CodeLauncher
♥ Do have faith in what you're doing.