V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
across
V2EX  ›  问与答

有什么类似 Web Scraper 的爬虫插件么,支持批量 url 抓取数据的。

  •  
  •   across · 2020-07-28 20:44:14 +08:00 · 2015 次点击
    这是一个创建于 1339 天前的主题,其中的信息可能已经有所发展或是发生改变。
    没做过爬虫,需求是这样的:
    20+个网页,每个网页里面有几十个数据条目。
    设定好规则抓取数据, 希望每天开机时自动跑一遍收集下数据就可以了,不限工具。Web Scraper 的 Sitemap Json 不支持批量 URL 导入,20+个网页挨个点还是麻烦····

    之前查了下 Puppeteer 很好上手,不过跑了下,触发反爬机制了(里面有几个网页是电商的=_=)。
    3 条回复    2020-07-28 22:29:24 +08:00
    ila
        1
    ila  
       2020-07-28 20:47:09 +08:00 via Android
    加钱,楼下帮你搞定
    locoz
        2
    locoz  
       2020-07-28 21:13:05 +08:00 via Android   ❤️ 2
    八爪鱼,下一个
    siknet
        3
    siknet  
       2020-07-28 22:29:24 +08:00   ❤️ 1
    火车浏览器 /火车采集器
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3351 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 13:39 · PVG 21:39 · LAX 06:39 · JFK 09:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.