V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wz497345846
V2EX  ›  程序员

有人用 Java 写爬虫吗?

  •  
  •   wz497345846 · 2019-06-11 16:54:03 +08:00 · 3642 次点击
    这是一个创建于 1993 天前的主题,其中的信息可能已经有所发展或是发生改变。
    11 条回复    2019-06-11 21:39:39 +08:00
    calming
        1
    calming  
       2019-06-11 17:02:08 +08:00
    httpclient+jsoup 呗
    leon0903
        2
    leon0903  
       2019-06-11 17:14:23 +08:00
    我记得好像有好几个 java 爬虫框架
    shionri
        3
    shionri  
       2019-06-11 17:17:42 +08:00 via Android
    用过 selenium java,写爬虫的话有点大材小用的感觉?
    fenrao
        4
    fenrao  
       2019-06-11 17:30:29 +08:00
    webmagic
    jiom
        5
    jiom  
       2019-06-11 17:40:43 +08:00
    一楼的方案是最常用的了
    tikazyq
        6
    tikazyq  
       2019-06-11 18:29:18 +08:00
    可以尝试一下爬虫管理平台 Crawlab,支持任何语言、任何框架,可以用 Crawlab 集成你的 Java 爬虫

    https://github.com/tikazyq/crawlab
    c4f36e5766583218
        7
    c4f36e5766583218  
       2019-06-11 19:28:29 +08:00
    retrofit 接 api 爬。
    sean250031
        8
    sean250031  
       2019-06-11 19:59:04 +08:00
    bigbigeggs
        9
    bigbigeggs  
       2019-06-11 20:08:16 +08:00
    写过好多。跟 python 没什么区别。就是拿到数据,然后清洗数据。
    python:request + (bs4,re 等)
    java: httpclent + (jsoup,re 等)
    brucefu
        10
    brucefu  
       2019-06-11 21:37:44 +08:00
    去哪儿爬信息百分之 95 的 java
    luozic
        11
    luozic  
       2019-06-11 21:39:39 +08:00 via iPhone
    apache 组织有开源的爬虫和抽取数据框架,java 语言的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2810 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 09:29 · PVG 17:29 · LAX 01:29 · JFK 04:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.