V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
nonesuccess
V2EX  ›  程序员

私活,需要抗比较复杂反爬虫策略的爬虫

  •  
  •   nonesuccess · 2017-10-03 18:11:40 +08:00 · 5738 次点击
    这是一个创建于 2642 天前的主题,其中的信息可能已经有所发展或是发生改变。

    工作量不算大,但反爬虫比较复杂

    感兴趣的话,加企鹅私聊:二 431 五零一五 79

    25 条回复    2017-10-04 14:21:18 +08:00
    iiduce
        1
    iiduce  
       2017-10-03 18:31:34 +08:00
    就一句话,还前后矛盾,这活怎么接?
    laoyur
        2
    laoyur  
       2017-10-03 18:35:54 +08:00
    标题和正文需要这么断句:
    私活,需要(做) 「抗-比较复杂反爬虫策略」的爬虫
    工作量不算大,但(实现)反爬虫 比较复杂
    a87150
        3
    a87150  
       2017-10-03 18:38:10 +08:00
    怎么搞的跟犯罪分子接头一样?
    AlwaysBee
        4
    AlwaysBee  
       2017-10-03 18:40:00 +08:00
    比较复杂的反爬虫策略和工作量真的不存在关联吗,哈哈
    nonesuccess
        5
    nonesuccess  
    OP
       2017-10-03 18:40:19 +08:00
    @iiduce 要爬的内容不算多,但是每一个都不太简单
    iannil
        6
    iannil  
       2017-10-03 18:55:01 +08:00
    举个例子看看先?
    ericgui
        7
    ericgui  
       2017-10-03 19:03:02 +08:00
    @iiduce 我现在也遇到要给网站,才 1000 多条信息,但这是一个大牛逼网站的一个小部分,全站的反爬虫策略非常复杂,从来没有完整下载过这 1000 多条信息。

    另一个网站 6W+条,反爬虫策略很简单,2 小时搞定。
    ericgui
        8
    ericgui  
       2017-10-03 19:05:24 +08:00
    @AlwaysBee 应该指的是数据量不大。
    jint
        9
    jint  
       2017-10-03 19:06:51 +08:00   ❤️ 5
    工作量不算大。所以没费用或者极少。至于难度,难度也能叫工作量?搞不定是你水平不行。
    hugee
        10
    hugee  
       2017-10-03 19:11:13 +08:00 via Android
    把目标站发出来看看
    HYSS
        11
    HYSS  
       2017-10-03 19:17:39 +08:00
    总有这种逗逗的需求

    ”工作量不算大,但反爬虫比较复杂“
    mxi1
        12
    mxi1  
       2017-10-03 19:21:08 +08:00
    @HYSS 哈哈。都知道工作量了,还找什么人呀,自己做就行了,反正工作量不算大,233。
    steve007
        13
    steve007  
       2017-10-03 19:25:13 +08:00
    能贴下网址吗
    iConnect
        14
    iConnect  
       2017-10-03 19:30:40 +08:00 via Android
    爬虫也知道工作量?还会感觉累?
    ioven
        15
    ioven  
       2017-10-03 19:47:33 +08:00
    既然工作量不大直接手工好了
    torbrowserbridge
        16
    torbrowserbridge  
       2017-10-03 20:51:52 +08:00 via Android
    爬 1 万条和 10 万条对爬虫来说区别很大吗?
    binux
        17
    binux  
       2017-10-03 21:13:54 +08:00   ❤️ 2
    @ericgui #7 找 N 个人手动复制粘贴 1000 次,一次 1 元。
    hcnhcn012
        18
    hcnhcn012  
       2017-10-03 21:21:08 +08:00 via iPhone
    说实话,这句话我读了 10 多遍。。。。
    oszlso
        19
    oszlso  
       2017-10-03 21:33:33 +08:00
    怎么反爬虫的,难道是混淆数据么~~爬出来的数据也是废的~~
    kangkang
        20
    kangkang  
       2017-10-03 21:43:34 +08:00 via iPhone   ❤️ 6
    工作量不大--别指望太多钱
    比较复杂--别指望太简单
    flynaj
        21
    flynaj  
       2017-10-03 22:42:11 +08:00 via Android
    全部转成 JPG
    netChen
        22
    netChen  
       2017-10-03 23:17:36 +08:00
    这个主题的话让我想起了产品道哥的话:这个需求很简单,不需要大改,只要求稍微改一下逻辑就好了。。。哈哈,已笑疯在办公间
    chen2016
        23
    chen2016  
       2017-10-03 23:42:23 +08:00 via Android
    好了。不嘲讽楼主,底价 500 接你的单
    msg7086
        24
    msg7086  
       2017-10-04 06:42:00 +08:00   ❤️ 1
    @binux 这么贵啊。大学生兼职打字,一小时 30 块打发了……
    nomemo
        25
    nomemo  
       2017-10-04 14:21:18 +08:00
    找几个学生众包一下就完了

    基本策略都没有?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1124 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 18:43 · PVG 02:43 · LAX 10:43 · JFK 13:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.