V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
tubowen

谷歌的爬虫有点厉害啊

  •  
  •   tubowen · Feb 6, 2021 · 6126 views
    This topic created in 1919 days ago, the information mentioned may be changed or developed.

    昨晚看到一个哥们在火车上听别人讨论几个亿的项目 今天想再看一下, 但是只记得标题里面有火车 回家的关键词 就用百度搜索了一下,结果没搜到 https://imgchr.com/i/yJxlk9

    用谷歌搜索了一下却搜到了 https://imgchr.com/i/yJxR0g

    谷歌爬虫的收录速度这么快的嘛,一天前的帖子就收录了 https://imgchr.com/i/yJzCjK

    17 replies    2021-02-07 01:58:50 +08:00
    eason1874
        1
    eason1874  
       Feb 6, 2021
    一天前已经久了,我经常搜到几十分钟前的
    ronman
        2
    ronman  
       Feb 6, 2021 via Android
    V 站权重挺高的,十多分钟的帖子我都搜到过(可能刚好爬了一番
    superrichman
        3
    superrichman  
       Feb 6, 2021 via iPhone
    你发的这贴子已经被谷歌收录了
    also24
        4
    also24  
       Feb 6, 2021   ❤️ 1
    许多网站会做相应的优化,主动提交的。(不过确定 V2 是否做了)

    http://www.google.com.hk/intl/zh-CN/submit_content.html
    tubowen
        5
    tubowen  
    OP
       Feb 6, 2021
    @ronman 还真是,我这个帖子发表之后也马上能搜索到
    also24
        6
    also24  
       Feb 6, 2021
    typo: 不过不确定 V2 是否做了
    ShinichiYao
        7
    ShinichiYao  
       Feb 6, 2021 via Android   ❤️ 3
    你还没体验过当年 Google 和 Twitter 合作的即时搜索,输入关键词然后就等着看下面搜索结果像自来水一样实时刷新出来
    S179276SP
        8
    S179276SP  
       Feb 6, 2021 via Android
    S179276SP
        9
    S179276SP  
       Feb 6, 2021 via Android   ❤️ 1
    cnrting
        10
    cnrting  
       Feb 6, 2021 via iPhone
    流量大点的站基本是秒收
    Arthur5
        11
    Arthur5  
       Feb 6, 2021   ❤️ 1
    我可是经常用 google 的快照来看被冲水的帖子,google 的爬虫比某些网站的管理员手都快
    Jooooooooo
        12
    Jooooooooo  
       Feb 6, 2021
    v2 在 google 权重很高

    基本发帖很快就能收录
    Tink
        13
    Tink  
    PRO
       Feb 6, 2021 via Android
    v 站一般是十五分钟
    jjplay
        14
    jjplay  
       Feb 6, 2021
    V 站高权重,实时都是大几千人在线,页面嵌入的是 google analytics,so ...
    systemcall
        15
    systemcall  
       Feb 6, 2021
    v2ex 嵌入了 google analytics 可能是原因之一。其实 bing 也爬的快而且权重非常高
    v2ex 有 api 可以获取到最新的主题和回复,应该是隔几分钟查询一下 API,发现新帖子和回复再来爬
    memeda
        16
    memeda  
       Feb 7, 2021
    08 年时百度 Google 就都做到了啊,权重高的站更新速度都很快的
    zeni123
        17
    zeni123  
       Feb 7, 2021
    google chrome 上面有个选项是默认打开的, 那就是 “预加载网页,以便实现更快速的浏览和搜索” 这个功能

    也就是 google 应该有各个网页的 cache,而且也知道这个网站有没有收录。

    所以只要有人用 chrome 打开了这个网页,没有收录的网站就会去收录,根本就不需要爬虫慢慢爬
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   948 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 57ms · UTC 19:10 · PVG 03:10 · LAX 12:10 · JFK 15:10
    ♥ Do have faith in what you're doing.