V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
cnscorpions
V2EX  ›  问与答

求教类似天眼查,企查查等爬虫公司,他们的数据源是哪里来的?商业爬虫项目有哪些挑战?

  •  
  •   cnscorpions · 2020-10-07 20:48:56 +08:00 · 2098 次点击
    这是一个创建于 1268 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一直有一个 idea,想要开发一个类似天眼查的项目,不知道他们的数据源怎么来的?商业爬虫项目的挑战有哪些?

    有了解相关情况老哥,可以报料下,爬虫经验比较丰富的老哥也说下哈

    5 条回复    2020-10-09 13:18:57 +08:00
    locoz
        1
    locoz  
       2020-10-07 20:58:31 +08:00 via Android
    天眼查、企查查相关问题可以先看看我在知乎上的这个回答: https://www.zhihu.com/answer/1310865497

    商业爬虫项目的挑战…其实就和普通商业开发项目一样,有钱为所欲为、没钱全是挑战。
    snw
        2
    snw  
       2020-10-07 21:00:19 +08:00 via Android
    国家企业信用信息公示系统 www.gsxt.gov.cn
    还有各地的税务系统、法律文书系统等等。

    至于挑战,除了技术之外,你需要联系好合作或者找到靠山,不然爬着爬着你自己就爬进去了。
    cnscorpions
        3
    cnscorpions  
    OP
       2020-10-07 21:03:39 +08:00
    @locoz @snw 谢谢两位老哥,我看下
    lau52y
        4
    lau52y  
       2020-10-09 08:03:27 +08:00 via iPhone
    感觉这些公司很恶心,搞得 gov 系统正常人都很难进去
    cnscorpions
        5
    cnscorpions  
    OP
       2020-10-09 13:18:57 +08:00
    @lau52y 政务系统,都外包出去了,都不太好用😅
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2780 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 12:31 · PVG 20:31 · LAX 05:31 · JFK 08:31
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.