有没有类似 node 中 async 一样易用的多线程库？

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3560 days ago, the information mentioned may be changed or developed.

之前用 node 做爬虫的时候一直用的是 async 控制并发数，到 Python 下面看了看多线程，控制线程数量有些麻烦，有没有类似 async 这样封装好的只要传递一个参数 list 和函数，能根据设定的限制自动控制并发线程数的库或者包？

Async

Node

程数

多线程

7 replies • 2016-08-18 11:14:05 +08:00

bigtan

Aug 17, 2016

multiprocessing pool

shyling

Aug 17, 2016

不是有 concurrent.futures 么？

janxin

Aug 17, 2016 via iPhone

node 的 async 不是还是单线程的么？

Trim21

Aug 17, 2016 via Android

@janxin 其实我的意思是，彻底参数列表和函数就可以并行的。
其实现在也是在写爬虫，要并行也是因为等 IO

eloah

Aug 17, 2016

node 本身不就是单线程的吗......
话说,python 下也有 async 这个库......
multiprocessing 就好啦

latyas

Aug 18, 2016 via iPhone

@Trim21 multiprocessing
爬虫可用 tornado 或者 asyncio 这是异步 io 的库速度可以很快

Zuckonit

Aug 18, 2016

多线程: from multiprocessing.dummy import Pool as ThreadPool
有个第三方库: threadpool
可以考虑下协程： gevent