V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
python30
V2EX  ›  问与答

那些网盘搜索网站,是怎么爬去网盘资源的?

  •  
  •   python30 · 34 天前 · 1161 次点击
    这是一个创建于 34 天前的主题,其中的信息可能已经有所发展或是发生改变。

    那些网盘搜索网站,是怎么爬去网盘资源的? 是通过各网盘的 api 接口吗? 还是真有技术可以便利网盘的数据? 还是别的方法? 有知道内情的朋友们吗?

    4 条回复    2025-08-21 02:08:39 +08:00
    MIH
        1
    MIH  
       33 天前
    各种论坛 和 搜索引擎结果 url 匹配啊。。。分享 url 都是固定格式
    uuundefined
        2
    uuundefined  
       33 天前
    只知道以前有些盘的网页入口, 有一些推荐的链接, 和爬虫原理一样爬就行
    像腾讯已经不怎么用的微云, 太纯净了, 也没人分享,压根就没搜他的引擎就知道, 不太可能有遍历的接口
    python30
        3
    python30  
    OP
       32 天前
    @uuundefined pansoso.com 这个速度好快。好像不是遍历网盘吧。那得多久才能返回结果。不知道是不是用的 api 或者只返回几百条数据?
    uuundefined
        4
    uuundefined  
       22 天前
    爬了后存自己数据库了啊, 再用 Elasticsearch 之类的搜索引擎方案 。网盘数据还没磁力站数据条目多, 相当于厂商帮就下载后去重了,没什么压力
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1013 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 18:52 · PVG 02:52 · LAX 11:52 · JFK 14:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.