V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
nunet
V2EX  ›  Python

有没有爬虫管理开源项目,可以管理爬虫脚本、ip 代理池、数据可视化

  •  
  •   nunet · 45 天前 · 2275 次点击
    这是一个创建于 45 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有时候写了一些爬虫脚本,但都是单文件的,每次都要指定好数据库字段,然后运行爬虫爬取数据。 我就在想,有没有可以管理爬虫脚本的项目,支持将爬虫脚本编辑和运行,支持预览爬取的数据,可以配置 ip 代理池。我在 github 上找了一下,没有找到。自己开发的话,感觉是个大工程。

    5 条回复    2025-03-25 14:35:10 +08:00
    bqzzd
        1
    bqzzd  
       45 天前   ❤️ 1
    crawlab 、scrapyweb
    alukongfu
        2
    alukongfu  
       45 天前
    这种带有自定义的功能,建议是自己开发一个。另外,建议将脚本集成到框架中去管理,这样就更加方便。
    xixiv5
        3
    xixiv5  
       45 天前
    代理池有推荐的吗
    xinmans
        4
    xinmans  
       45 天前
    用 scrapy 开发了一些脚本,比较稳定
    scrapyweb ,用过一段时间,bug 很多 ,现在用 crontab 调用 scrapy ,稳的一笔
    macaodoll
        5
    macaodoll  
       18 天前
    我都是自己开发,
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   863 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 21:27 · PVG 05:27 · LAX 14:27 · JFK 17:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.