哪位爬虫大仙玩过从试过从淘宝店铺爬商品？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 3430 天前的主题，其中的信息可能已经有所发展或是发生改变。

商品展示的div是动态生成的，似乎是ajax（？），另外还用了kissy的lazyload。
我试了headless firefox (selenium)，WebDriver，都没成功。

9 条回复 • 2014-12-20 08:46:44 +08:00

zealic

2014-12-18 10:14:07 +08:00

zealic

2014-12-18 10:15:37 +08:00

Selenium 最好用 Ghost Driver，和 Caspser.js 的技术原理是一样的

binux

2014-12-18 10:20:17 +08:00

你会写一个淘宝店铺，你就会爬了。

husinhu

2014-12-18 13:57:42 +08:00

@zealic 谢谢，这个和phantomjs啥区别，你试过吗

husinhu

2014-12-18 13:58:47 +08:00

@binux 用过大神的pyspider，没搞过淘宝店铺！

scarlex

2014-12-18 14:12:19 +08:00

@husinhu 那个是封装过的 phantomjs，简单一点

icedx

2014-12-18 14:20:25 +08:00

刚看来下淘宝居然用了webp

YAFEIML

2014-12-19 15:36:34 +08:00

@zealic 头像好帅，求一个呗

zealic

2014-12-20 08:46:44 +08:00

@YAFEIML DOTA 的蓝猫歪脖子头像，当时貌似是在微博找到的。