有时候写了一些爬虫脚本,但都是单文件的,每次都要指定好数据库字段,然后运行爬虫爬取数据。 我就在想,有没有可以管理爬虫脚本的项目,支持将爬虫脚本编辑和运行,支持预览爬取的数据,可以配置 ip 代理池。我在 github 上找了一下,没有找到。自己开发的话,感觉是个大工程。
1
bqzzd 45 天前 ![]() crawlab 、scrapyweb
|
2
alukongfu 45 天前
这种带有自定义的功能,建议是自己开发一个。另外,建议将脚本集成到框架中去管理,这样就更加方便。
|
![]() |
3
xixiv5 45 天前
代理池有推荐的吗
|
![]() |
4
xinmans 45 天前
用 scrapy 开发了一些脚本,比较稳定
scrapyweb ,用过一段时间,bug 很多 ,现在用 crontab 调用 scrapy ,稳的一笔 |
5
macaodoll 18 天前
我都是自己开发,
|