那些网盘搜索网站,是怎么爬去网盘资源的? 是通过各网盘的 api 接口吗? 还是真有技术可以便利网盘的数据? 还是别的方法? 有知道内情的朋友们吗?
1
MIH 33 天前
各种论坛 和 搜索引擎结果 url 匹配啊。。。分享 url 都是固定格式
|
2
uuundefined 33 天前
只知道以前有些盘的网页入口, 有一些推荐的链接, 和爬虫原理一样爬就行
像腾讯已经不怎么用的微云, 太纯净了, 也没人分享,压根就没搜他的引擎就知道, 不太可能有遍历的接口 |
3
python30 OP @uuundefined pansoso.com 这个速度好快。好像不是遍历网盘吧。那得多久才能返回结果。不知道是不是用的 api 或者只返回几百条数据?
|
4
uuundefined 22 天前
爬了后存自己数据库了啊, 再用 Elasticsearch 之类的搜索引擎方案 。网盘数据还没磁力站数据条目多, 相当于厂商帮就下载后去重了,没什么压力
|