V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
jakeyfly
V2EX  ›  问与答

网站上那些 API 如何才能捕获呢?就像后面传来的数据

  •  
  •   jakeyfly · 2018-05-15 11:26:32 +08:00 · 1300 次点击
    这是一个创建于 2386 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有一些网站在 chrome 调试里面可以看到后面会几秒就传来一个更新数据一般是 JSON 格式的,几秒就会传来一个,更新网页的。如何才能捕获这个数据呢,并且像浏览器一样一直接收这个数据呢,爬虫是主动请求的,如何才能像 SOCKET 连接那样,没有的时候阻塞在那 有的时候就接收呢? 一直很疑惑这个问题,觉得应该是有办法做到的,能模拟浏览器连接网页吗

    6 条回复    2018-05-15 22:28:13 +08:00
    jakeyfly
        1
    jakeyfly  
    OP
       2018-05-15 12:56:41 +08:00
    没有大佬知道吗
    msg7086
        2
    msg7086  
       2018-05-15 13:07:34 +08:00
    你需要的是无头浏览器?
    你说的是 WebSocket 连接?
    CloudnuY
        3
    CloudnuY  
       2018-05-15 13:48:30 +08:00
    几秒一个数据包那种难道不是 js 写的定时 ajax 吗……类似心跳包那种
    qwjhb
        4
    qwjhb  
       2018-05-15 14:23:26 +08:00
    开 f12 看看 确定没有 POST/GET ?
    jakeyfly
        5
    jakeyfly  
    OP
       2018-05-15 18:59:18 +08:00
    @qwjhb 大佬的意思是他网站前端的脚本操作的是吧
    qwjhb
        6
    qwjhb  
       2018-05-15 22:28:13 +08:00
    @jakeyfly 是啊 一般都是 ajax 吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5638 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 07:27 · PVG 15:27 · LAX 23:27 · JFK 02:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.