比如这个店铺:
如何爬取取这个店铺的总商品数“ 11 ”
有思路的朋友,帮忙看下~ 谢谢
1
kslr 2017-12-14 17:38:25 +08:00 1
可以爬移动端的搜索
|
2
rabbbit 2017-12-14 17:42:12 +08:00 1
在这里
<input id="J_ShopAsynSearchURL" type="hidden" value="/i/asynSearch.htm?mid=w-7829526169-0&wid=7829526169&path=/search.htm&search=y&spm=2013.1.0.0.34501d1Ihv6oa&orderType=hotsell_desc" /> |
3
malaohu 2017-12-14 17:43:36 +08:00 1
爬虫这个东西还是需要慢慢琢磨的。给你点建议吧。
1. 尽量不去抓取 PC 页面。因为 PC 渲染的页面很复杂,直接去抓手机页面,相对来说难度小一点。 比如: https://shop71778107.m.taobao.com/?shop_id=71778107&user_id=851358131 2. F12 查看页面请求的数据。这个是细致的活儿。 我看了一下貌似这个全是 js 渲染的。我没细看。毕竟挺浪费时间的。 |
4
zbl430 2017-12-14 17:46:11 +08:00 1
|
5
nan0kai OP 感谢各位回复,个人基本功还不扎实,找好长时间没有找着。应该是 2,4 楼描述的地址。
再次感谢各位。 |
6
juedi998 2017-12-14 21:30:08 +08:00
其实挺简单的,您找不到,是因为这些数据都是动态生成的,有两种方式获取,第一种比较傻瓜式的:用 selenium 调用浏览器渲染后的页面,这种比较简单,网上一搜一堆的方案,另一种较为复杂,需要先抓包,找到接口后获取它的数据,这个需要一定的经验哦!
|