V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
changwei
V2EX  ›  问与答

为什么写爬虫都喜欢用 python?

  •  
  •   changwei · 2016-09-16 00:52:48 +08:00 · 11697 次点击
    这是一个创建于 2783 天前的主题,其中的信息可能已经有所发展或是发生改变。

    楼主学 php 的,但是也自学过 python ,对 php 了解还是比较深的,看了一些 python 爬虫的源代码,感觉同样的功能 php 也都能写出来啊,有人可能会吐槽说 php 不支持多线程,事实上 php 是有 pthreads 多线程扩展的,同样也可以狠高效的支持 php 扩展。楼主平时也玩玩渗透,很多情况下由于对 php 了解更多用起来更上手,所以很多 payload 利用或者一些 sql 注入验证脚本也都是 php 写的,感觉 php 数组处理比较方便,对数据的处理要更加灵活,所以想问问 python 为什么会更适合编写爬虫?(可能是 python 有一些更强大的特性楼主不懂,因此前来请教)

    19 条回复    2018-12-18 13:59:38 +08:00
    DoraJDJ
        1
    DoraJDJ  
       2016-09-16 00:54:59 +08:00 via Android
    /t/306509 (笑)
    mzeht
        2
    mzeht  
       2016-09-16 01:09:11 +08:00
    很多语言都可以写爬虫, java , python , node ,甚至 C 等等。但是要考虑到这点,爬虫往往要同时写很多网站,而网站变化了,程序也要及时修改,所以选一个你自己熟悉的,写的快的,修改方便的语言就好了,用 python 的大概是 python 写起来贼快?
    bdbai
        3
    bdbai  
       2016-09-16 01:25:44 +08:00 via Android
    动态语言写爬虫都很方便,楼主写 PHP 顺手就用 PHP 写,我觉得 Nodejs 好用就用 js 写。
    我猜 Python 语法比较优雅,所以用的人多。
    windfarer
        4
    windfarer  
       2016-09-16 01:30:34 +08:00
    人生苦短
    qqmishi
        5
    qqmishi  
       2016-09-16 01:36:14 +08:00 via Android
    Python 入门教程就是完成一个爬虫,,,
    techmoe
        6
    techmoe  
       2016-09-16 08:36:47 +08:00 via Android
    我当初开始研究 py 的初衷就是为了写 crawler
    php 有 pthreads 这点也知道。。但总感觉 php 不是很适合这种场景,本身 php cli 这种感觉比其他原生支持 cli 的都缺很多东西。。
    aristotll
        7
    aristotll  
       2016-09-16 10:26:47 +08:00   ❤️ 1
    脚本语言都可以写
    Python 火估计是入门门槛低(不是黑
    upczww
        8
    upczww  
       2016-09-16 10:33:10 +08:00 via Smartisan T1
    Python 各种好用的包太多了啊
    popok
        9
    popok  
       2016-09-16 10:51:37 +08:00 via iPhone
    初学 pyPython 就觉得他的很多语法很奇葩,不符合自己的习惯
    whwq2012
        10
    whwq2012  
       2016-09-16 10:59:09 +08:00 via Android
    以前用 java 写爬一个网站的图片要几十行代码,而 python 只要十几行
    leosama
        11
    leosama  
       2016-09-16 11:07:55 +08:00 via iPhone
    短 例子也多
    dexterzzz
        12
    dexterzzz  
       2016-09-16 11:08:10 +08:00
    现在用 requests+bs4 不到 10 行代码了。
    giuem
        13
    giuem  
       2016-09-16 11:51:56 +08:00 via iPhone
    难道不是因为服务器自带 Python ,部署的时候方便
    bazingaterry
        14
    bazingaterry  
       2016-09-16 12:25:42 +08:00
    写起来爽。
    nightnet
        15
    nightnet  
       2016-09-16 13:37:11 +08:00 via iPhone
    @aristotll 真话
    hard2reg
        16
    hard2reg  
       2016-09-16 16:07:22 +08:00
    这是 php 被黑的最惨的一次
    uuspider
        17
    uuspider  
       2016-09-16 16:36:32 +08:00   ❤️ 1
    因为,
    某些人看到网上的 python 爬虫,依葫芦画瓢,居然成功,自以为牛逼,就发网上来了;
    后来,
    某些人看到网上的 python 爬虫,依葫芦画瓢,居然成功,自以为牛逼,就发网上来了;
    再后来,
    某些人看到网上的 python 爬虫,依葫芦画瓢,居然成功,自以为牛逼,就发网上来了。。。
    changwei
        18
    changwei  
    OP
       2016-09-17 23:40:07 +08:00
    @hard2reg 何出此言?
    15399905591
        19
    15399905591  
       2018-12-18 13:59:38 +08:00
    python 的爬虫生态环境成熟,现有库非常多,不用重复造轮子,开发效率更高。 而 python 对数据处理也是非常优势的,最接近人工智能的语言不是浪得虚名的。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5295 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 08:19 · PVG 16:19 · LAX 01:19 · JFK 04:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.