V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
woshishuia
V2EX  ›  奇思妙想

大家敢不敢在 robots 里面屏蔽百度?

  •  
  •   woshishuia · 2019-05-31 10:08:15 +08:00 · 9071 次点击
    这是一个创建于 2022 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这里好像没有不骂百度,既然如此,为何不直接在自己的网站屏蔽掉它呢,加速他的衰亡(虽然就算不屏蔽百度也未必来收录你)?

    第 1 条附言  ·  2019-05-31 13:24:22 +08:00
    唉,不知道李彦宏看到一群有价值的内容创造者,对百度的如此态度,心里会有什么想法……
    百度明明可以做的很好,偏偏选择了歪门邪道……
    38 条回复    2019-06-04 20:59:52 +08:00
    woshishuia
        1
    woshishuia  
    OP
       2019-05-31 10:09:57 +08:00
    很多站长苦百度久矣,可是就是不会一起变被动为主动。
    sanshiliu
        2
    sanshiliu  
       2019-05-31 10:25:29 +08:00
    屏蔽很久了,但是百度依然抓取。
    9151
        3
    9151  
       2019-05-31 10:38:59 +08:00
    员工能代替老板做这种决定?
    hack
        4
    hack  
       2019-05-31 10:39:52 +08:00
    屏蔽也无视的
    kios
        5
    kios  
       2019-05-31 11:26:51 +08:00   ❤️ 1
    君子协定 百度是不会遵守的 。要真想屏蔽 直接在 nginx 上 block 掉
    kindjeff
        6
    kindjeff  
       2019-05-31 11:33:11 +08:00   ❤️ 1
    xiri
        7
    xiri  
       2019-05-31 11:33:56 +08:00 via Android   ❤️ 2
    博客放在 Github Pages 上,不用我去屏蔽,Github 帮我屏蔽了🐶
    passerbytiny
        8
    passerbytiny  
       2019-05-31 11:39:56 +08:00
    君子协定,屏蔽无用。倒不如在你的页面上加一个类似于“不欢迎百度”的提示。
    lzxgh621
        9
    lzxgh621  
       2019-05-31 11:40:06 +08:00 via Android
    因为他根本不收
    Tink
        10
    Tink  
       2019-05-31 11:40:16 +08:00
    屏蔽有用??
    est
        11
    est  
       2019-05-31 11:43:20 +08:00   ❤️ 1
    blog.est.im/robots.txt

    路过一下。
    msg7086
        12
    msg7086  
       2019-05-31 12:10:48 +08:00   ❤️ 3
    我根本不关心度娘的死活,为何要特地在 robots 里为他加上一段?

    (然后每次打开 robots 或者 nginx 文件的时候还要特地被恶心一次……
    mason961125
        13
    mason961125  
       2019-05-31 12:12:06 +08:00 via iPhone   ❤️ 1
    nginx 里配置百度的 referrer 直接 403
    kingfalse
        14
    kingfalse  
       2019-05-31 12:15:23 +08:00 via Android
    想起了当年 360 强行抓某网站,
    lycc
        15
    lycc  
       2019-05-31 12:53:55 +08:00 via Android
    早已屏蔽
    looking0truth
        16
    looking0truth  
       2019-05-31 13:13:35 +08:00   ❤️ 1
    个人站应该很多都屏蔽了吧 上次见过更狠的,百度跳过去弹窗数落百度的罪证
    sheeta
        17
    sheeta  
       2019-05-31 13:19:19 +08:00
    @looking0truth coolshell 是这样的,哈哈
    trait
        18
    trait  
       2019-05-31 13:27:29 +08:00 via iPhone
    实不相瞒,我把 Google 在内的所有爬虫全屏蔽了
    liuxey
        19
    liuxey  
       2019-05-31 13:28:42 +08:00
    403 好评
    Lpl
        20
    Lpl  
       2019-05-31 15:31:52 +08:00 via iPhone
    @mason961125 你这太暴力了,还不如跳到一个页面说明下更好
    zhttty
        21
    zhttty  
       2019-05-31 15:35:43 +08:00
    @looking0truth 还不如把这个数落罪证的搞成开源页面(持续更新),后续凡是讨厌百度的开发者,都可以简单引入这个弹窗页,想想就爽。
    waterboy
        22
    waterboy  
       2019-05-31 15:46:57 +08:00
    鄙人博客屏蔽一切搜索引擎
    haozi1986
        23
    haozi1986  
       2019-05-31 15:53:54 +08:00
    早就用防火墙把我能找到的百度的 IDC 机房 IP 屏蔽了,可能有误杀,但我觉得可以接受
    为什么这么做,因为 nginx 日志里经常是几百行持续且相同的记录,来源全部是百度的 IP,耗我流量,不能忍
    jisibencom
        24
    jisibencom  
       2019-05-31 16:11:36 +08:00 via Android
    我就屏蔽几年了。。。。
    turi
        25
    turi  
       2019-05-31 16:34:35 +08:00
    当年就是遵守君子协议,然后淘宝壮大了。
    elfive
        26
    elfive  
       2019-05-31 19:42:57 +08:00 via iPhone
    Robot 只是一个约定的规范而已,不一定要强制遵守,你觉得当百度要爬你的时候,你搞个 Robot 就够了??

    另外说一句,百度喜欢在国内时间凌晨 3 点爬我的站。后来我直接给他屏蔽了 ip
    leonme
        27
    leonme  
       2019-05-31 20:19:18 +08:00 via Android
    不用百度都有优越感了,真是服~
    coolloves
        28
    coolloves  
       2019-05-31 21:48:30 +08:00 via iPhone
    屏蔽掉百度等垃圾爬虫的 ua 啊
    shuirong1997
        29
    shuirong1997  
       2019-05-31 22:20:56 +08:00
    @looking0truth #16
    @sheeta #17
    @zhttty #21
    https://i.loli.net/2019/05/31/5cf137a891b3a18730.jpg
    coolshell is cool

    搞事情!如果没人做的话,我来搞一个(这就搞)
    shuirong1997
        30
    shuirong1997  
       2019-05-31 22:22:54 +08:00
    @shuirong1997 #30 原来 CoolShell 已经把那段代码放出来了,在这里: https://coolshell.cn/articles/9308.html 需要的同学自取
    shuirong1997
        31
    shuirong1997  
       2019-05-31 22:23:59 +08:00
    arens
        32
    arens  
       2019-05-31 22:27:28 +08:00
    多年前 3Q 大战还不少人罢用呢,现在不还活的好好的,网站和搜索引擎就是水和鱼,对产品平台有看法,可技术又没什么错
    JmmBite
        33
    JmmBite  
       2019-05-31 22:43:23 +08:00 via iPhone
    别说 robots,IP 都 block 叻
    Spcek
        34
    Spcek  
       2019-06-02 19:48:21 +08:00 via Android
    est
        35
    est  
       2019-06-02 20:43:29 +08:00
    @Spcek 已知。 多谢
    Sapp
        36
    Sapp  
       2019-06-04 11:32:22 +08:00
    不敢,我还要拿他测网速和搜贴吧游戏攻略呢
    Sapp
        37
    Sapp  
       2019-06-04 11:33:13 +08:00
    哦,rebots 啊,那个都不用屏蔽了,反正我博客我自己都不看
    Ayersneo
        38
    Ayersneo  
       2019-06-04 20:59:52 +08:00
    试了,屏蔽了一次,百度权重貌似下降很多
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1057 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 18:29 · PVG 02:29 · LAX 10:29 · JFK 13:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.