Python3 爬虫框架,技术使用在 readme 里面都写好了,大家伙看看 https://github.com/BlingBlingdevelopers/bluff,觉得哪里不好的随便喷
1
chengxiao 2018-07-10 05:42:36 +08:00
python 感觉是最不缺爬虫框架的语言了....
不过支持楼主 ,现有两座大山 scrapy 和 pyspider 在分布式和集群调度上不是很出彩 期待楼主实现一个 |
2
cheesea 2018-07-10 09:52:22 +08:00
造轮子大体有两个原因,一是学习,二是现有轮子用的不爽。不知道楼主是哪一种。
|
3
RicardoScofileld 2018-07-10 11:26:59 +08:00 1
fuck 404 喷个求
|
4
jhsunnyshine 2018-07-10 16:29:51 +08:00 via Android
楼上说的对啊,404 没法喷啊,手动滑稽
|
5
NobodyVe2x 2018-07-10 21:08:32 +08:00
|
6
xiaozizayang 2018-07-11 20:38:10 +08:00
我看源码 忽然感觉好熟悉 依稀记得很多地方和我以前看的一个框架爬虫框架 gain 里面代码实现极其类似
最后,放下我自己写的一个爬虫框架哈哈 https://github.com/howie6879/aspider |