如何大规模爬狗家和猫家的商品信息又不被 BAN，有什么绝窍吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 2387 天前的主题，其中的信息可能已经有所发展或是发生改变。

想扒些数据来分析分析，扒少了看不出规律，扒多了人家又有意见，想找个窍门避开。

9 条回复 • 2017-10-30 14:48:25 +08:00

ranleng

2017-10-28 15:50:07 +08:00 via Android

直接要数据.
或者代理 ip
或者找些开放的数据分析分析

whatsmyip

2017-10-28 16:57:05 +08:00

IP 要多，下手要轻

odirus

2017-10-28 18:11:21 +08:00 via Android

让大家在浏览器安装插件，然后每个人就是一个数据采集源。

不知道网易慧慧是不是这样的，纯属猜测。

这个方案的难点是怎么让第一批用户安装插件，大厂天生有优势。

shapl

2017-10-28 19:22:38 +08:00

猫家有 API，狗家不清楚。

hellojay

2017-10-28 19:31:38 +08:00 via iPhone

@odirus 是这样

geekboy

2017-10-28 19:45:15 +08:00

16 年爬过狗家与猫家，猫家没代理 ip 基本不行，狗家还好~

Dannytmp

2017-10-28 23:03:00 +08:00

@shapl 需要哪个级别的 API ？

shapl

2017-10-30 08:58:52 +08:00

@Dannytmp 你去 X 宝开放平台找，百川无线，有个获取商品详情的，不知合不合你要求。随便申请得到。

Dannytmp

2017-10-30 14:48:25 +08:00

@shapl 谢谢