推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2595 天前的主题，其中的信息可能已经有所发展或是发生改变。
我大致看了下源码，每个 project 有一系列 task，task 的流程大概是:
scheduler 从 new_task_queue 取 task 放到出队列 -> fetcher 执行 task 后把结果放到出队列 -> processor 把结果传给用户定义的 handler, 从中提取新的 task 放到 new_task_queue
把 task 放到数据库是在 scheduler 取 task 的时候．如果在 processor 执行完后，设状态为 stop，这时候 scheduler 检测到爬虫停止了，是不会把 new_task_queue 中的 task 放到数据库的，这样会不会有丢失 task 的可能？
scheduler 从 new_task_queue 取 task 放到出队列 -> fetcher 执行 task 后把结果放到出队列 -> processor 把结果传给用户定义的 handler, 从中提取新的 task 放到 new_task_queue
把 task 放到数据库是在 scheduler 取 task 的时候．如果在 processor 执行完后，设状态为 stop，这时候 scheduler 检测到爬虫停止了，是不会把 new_task_queue 中的 task 放到数据库的，这样会不会有丢失 task 的可能？
 |
1
golmic 2017-11-14 11:46:29 +08:00
不建议用 pyspider，很多坑。用 scrapy 吧
|
 |
2
cheesea OP 没有用，我只是在学习它的源码，和 scrapy 相互比较．
|
Select Language