V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
monsabre1
V2EX  ›  分享发现

新开源的 python scrapy 爬虫集群 有人用过吗?

  •  
  •   monsabre1 · 2015-05-10 12:37:35 +08:00 · 4115 次点击
    这是一个创建于 3491 天前的主题,其中的信息可能已经有所发展或是发生改变。
    5 条回复    2015-05-11 10:35:55 +08:00
    zts1993
        1
    zts1993  
       2015-05-10 12:56:10 +08:00
    用过 Redis 和Scrapy组的集群
    cxl008
        2
    cxl008  
       2015-05-10 13:17:29 +08:00
    scrapy + redis + mongodb 。。。。。。自己写的。。。。。。。
    zhwei
        3
    zhwei  
       2015-05-10 14:19:46 +08:00 via iPad
    这货一直2.7也是醉了
    yakczh
        4
    yakczh  
       2015-05-10 14:24:29 +08:00
    scrapy如果已经抓过的网站又有更新了, 一般是怎么处理 ?是在命令行重新启动运行一遍吗?
    heamon7
        5
    heamon7  
       2015-05-11 10:35:55 +08:00 via iPhone
    @yakczh 定时任务么?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2672 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 02:04 · PVG 10:04 · LAX 18:04 · JFK 21:04
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.