V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
xiaoyu9527
V2EX  ›  问与答

scrapy 的 xpath 真的好难学呀。 有啥办法能更好的学习么?

  •  
  •   xiaoyu9527 · 2016-07-26 11:28:22 +08:00 · 2895 次点击
    这是一个创建于 3043 天前的主题,其中的信息可能已经有所发展或是发生改变。

    心好累

    22 条回复    2016-07-27 10:22:42 +08:00
    upczww
        1
    upczww  
       2016-07-26 11:43:26 +08:00 via Smartisan T1
    xpath 文档全部看一遍
    BOYPT
        2
    BOYPT  
       2016-07-26 11:45:42 +08:00
    可以用 pyquery 重新实现 spyder 的啊
    https://gist.github.com/joehillen/795180
    mrytsr
        3
    mrytsr  
       2016-07-26 11:47:20 +08:00 via Android
    mrytsr
        4
    mrytsr  
       2016-07-26 11:48:47 +08:00 via Android
    exoticknight
        6
    exoticknight  
       2016-07-26 12:02:51 +08:00
    可以用 css 的
    真的很难学吗?经常用的不就是几种?
    imn1
        7
    imn1  
       2016-07-26 12:38:42 +08:00
    xpath 起码比正则简单多了
    imn1
        8
    imn1  
       2016-07-26 12:45:09 +08:00
    wmttom
        9
    wmttom  
       2016-07-26 12:56:51 +08:00
    pyquery +1
    halmstad
        10
    halmstad  
       2016-07-26 13:43:36 +08:00
    可以用浏览器插件来验证 xpath
    zjuster
        11
    zjuster  
       2016-07-26 13:56:47 +08:00
    @mrytsr 这个都是绝对路径的,很多情况不准的...
    xss
        12
    xss  
       2016-07-26 14:09:49 +08:00
    firebug 插件,在 html 标签,右键,复制 xpath.....
    feather12315
        13
    feather12315  
       2016-07-26 14:42:54 +08:00 via Android
    XPath / CSS selector / re
    仨轮着用。
    XPath 写不出来用 CSS selector ,
    还不行用 re ,别绑在一条船上。大多数时候, XPath 难写, CSS selector 却很好写
    wuhaoworld
        14
    wuhaoworld  
       2016-07-26 14:43:58 +08:00
    我也觉得, scrapy 的 XPath 和标准格式不一样, Chrome 复制出来的还不能直接用,真的很蛋疼
    xiaoyu9527
        15
    xiaoyu9527  
    OP
       2016-07-26 15:11:41 +08:00
    @feather12315

    我用的就是 CHROME 弄 XPATH 但是调试起来很头大
    dexterzzz
        16
    dexterzzz  
       2016-07-26 17:50:03 +08:00
    CSS selector 很清晰明了.
    Allianzcortex
        17
    Allianzcortex  
       2016-07-26 19:35:26 +08:00
    Chrome extension:XPath Helper;不过仍然难用...所以还是一起去喝汤...BeautifulSoup...
    mringg
        18
    mringg  
       2016-07-26 19:54:03 +08:00 via Android
    这东西貌似不用学
    Suclogger
        19
    Suclogger  
       2016-07-26 21:29:05 +08:00
    chrome 和 firefox 都有对应的工具

    suclogger.tech/2016/05/17/从 webmagic 着手浅析 JAVA 爬虫 /
    Suclogger
        20
    Suclogger  
       2016-07-26 21:29:26 +08:00
    @Suclogger

    http://suclogger.tech/2016/05/17/从 webmagic 着手浅析 JAVA 爬虫 /
    haofly
        21
    haofly  
       2016-07-27 09:25:38 +08:00
    scrapy 也可以用 js 的选择器呀
    xiaoyu9527
        22
    xiaoyu9527  
    OP
       2016-07-27 10:22:42 +08:00
    @haofly 有没有这部分教程?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1211 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 17:50 · PVG 01:50 · LAX 09:50 · JFK 12:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.