V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
ljdawn
V2EX  ›  Python

多线程爬虫抓小说

  •  
  •   ljdawn · 2015-09-06 22:20:21 +08:00 · 5142 次点击
    这是一个创建于 3126 天前的主题,其中的信息可能已经有所发展或是发生改变。

    写了个多线程爬虫,感觉自己好无耻呀。。。 之前写了个单线程的,任务丢到 rq 里面去去,真的很慢,两千多个网页,跑了半天。 这个也跑了小班天。。。。。 https://github.com/ljdawn/python_share/blob/master/biquge_spider.py

    13 条回复    2015-10-02 03:29:31 +08:00
    ljdawn
        1
    ljdawn  
    OP
       2015-09-06 22:53:50 +08:00
    rq 那个没放是因为。。。这个是抓得 CL 呀。哈哈哈哈哈哈
    sivacohan
        2
    sivacohan  
       2015-09-07 04:01:03 +08:00 via Android
    用 gevent 保平安
    je11yfish
        3
    je11yfish  
       2015-09-07 08:05:42 +08:00
    楼主,这事儿用 Gevent 是王道啊……
    ljdawn
        4
    ljdawn  
    OP
       2015-09-07 08:25:30 +08:00
    @sivacohan 周末来一发 么么哒
    ljdawn
        5
    ljdawn  
    OP
       2015-09-07 08:25:48 +08:00
    @je11yfish 周末来一发。 么么哒
    LeoQ
        6
    LeoQ  
       2015-09-07 09:50:51 +08:00
    楼上这么赤裸裸的求 YP ,哈哈哈
    cooiky
        7
    cooiky  
       2015-09-07 11:46:39 +08:00
    "Referer":"http://cl.loius.biz/"

    这是亮点?
    800126
        8
    800126  
       2015-09-07 11:50:01 +08:00
    @LeoQ 哥,我只是来追随你的头像的。
    ljdawn
        9
    ljdawn  
    OP
       2015-09-07 12:44:01 +08:00
    @cooiky 哈哈哈哈 我那会儿用的是另外一个域名。。。
    ljdawn
        10
    ljdawn  
    OP
       2015-09-07 12:44:49 +08:00
    @LeoQ 亚灭爹。。。。 来一发不是这个意思。。是说用 gevent 。。。 你太邪恶了哈哈哈
    leeyuzhe
        11
    leeyuzhe  
       2015-09-07 17:18:22 +08:00
    "Referer":"http://cl.loius.biz/"
    说!是不是去抓过图片!还是成人文学?
    ljdawn
        12
    ljdawn  
    OP
       2015-09-07 20:12:13 +08:00
    @leeyuzhe 抓得小说哈哈哈哈
    symons
        13
    symons  
       2015-10-02 03:29:31 +08:00
    为啥不用多进程,要用多线程,请教一下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3804 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 10:20 · PVG 18:20 · LAX 03:20 · JFK 06:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.