V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
ddmkchan
V2EX  ›  Python

Phantomjs + selenium 问题咨询

  •  
  •   ddmkchan · 2016-04-08 18:20:28 +08:00 · 4498 次点击
    这是一个创建于 2911 天前的主题,其中的信息可能已经有所发展或是发生改变。

    咨询下大家...

    我用 PHANTOMJS2.0.0 + selenium 2.47.3, 解析带 js 的页面, 在我本地开发环境( ubuntu )能正常解析页面获取数据。 但是代码发布到生产环境( centos ),则报 httplib.BadStatusLine 错误。

    其次,在生产环境直接执行 Phantomjs 的 js 脚本,会报 PhantomJS has crashed 错误。

    是否生产环境一些设置造成的问题?

    类似问题:

    http://stackoverflow.com/questions/20435220/cant-run-phantomjs-in-python-via-selenium

    7 条回复    2016-04-09 14:13:44 +08:00
    ddmkchan
        1
    ddmkchan  
    OP
       2016-04-08 18:40:28 +08:00
    phantomjs 中设置 page.settings.loadImages=true ,会报 PhantomJS has crashed 错误。
    ynztyl10
        2
    ynztyl10  
       2016-04-08 18:43:47 +08:00
    在你生产环境自编译一份 phantomjs
    SlipStupig
        3
    SlipStupig  
       2016-04-09 01:10:24 +08:00
    @ddmkchan 更新到最新版本, phantomjs 本身稳定性就那样,建议升级到最新的 Selenium ,检测 webdriver 是不是最新,如果还有问题,就祝你好运了
    ddmkchan
        4
    ddmkchan  
    OP
       2016-04-09 09:58:14 +08:00
    @SlipStupig 感谢了,我再试试! 我是在纠结,为什么在本地 ubuntu 环境上,代码都能顺利运行,换了个环境就挂了。
    ddmkchan
        5
    ddmkchan  
    OP
       2016-04-09 09:58:56 +08:00
    @ynztyl10 谢谢,我在编译其他版本的
    ddmkchan
        6
    ddmkchan  
    OP
       2016-04-09 10:20:53 +08:00
    感谢各位,估计和我安装 phantomjs2.0.0 方法有关系, 用 phantomjs2.1.1 替换后, 代码能顺利执行了!
    SlipStupig
        7
    SlipStupig  
       2016-04-09 14:13:44 +08:00
    @ddmkchan 哈哈哈欢迎来到 phantomjs 的神坑世界,我已经被坑的莫名其妙了,
    A.跑了三天后性能明显下降,感觉内存泄露了一样,然后重启了 server 正常了,然后过了几天又这样了....
    B.忘记了关了 log 然后磁盘空间不够,被占用满了。。。。
    目前最大的想法就是要开发一个稳定快速的渲染引擎! phantomjs 实在只能用来测试不能生产!!!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   920 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 20:54 · PVG 04:54 · LAX 13:54 · JFK 16:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.