这是一个创建于 1554 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题，最近工作跟爬虫有关，有一部分是从网页的特定 XHR 中获得数据。想写一个通用的程序来实现，Java 语言。老大给我的方向是分析各个需要爬虫的网站的 xhr 的 url，但我看的一些网页中 url 的规律都不同，实在很困扰，特来求助，谢谢大家。
 |
1
brazz 2020-08-04 17:05:15 +08:00
先把浏览器的调试工具用好了
|
 |
2
LinsVert 2020-08-04 17:12:39 +08:00
直接 python，用爬虫框架一下就出来了，url 用 xpath，regx 差不多就能出来了
|
 |
3
goofool 2020-08-04 17:15:24 +08:00
下载一个 postman，开代理模式，然后导出 python 脚本美滋滋
|
Select Language