全员接单时代！ IP 代理池项目完善中！

[golmic]

这是一个 ip 代理池项目

https://github.com/lujqme/proxy_pool

还有一个 Python 数据交流社群，数百名小伙伴们在这里交流数据抓取数据分析以及数据挖掘的内容，如果你有兴趣，也欢迎你加入！

http://pyanalysis.org/

微信群现有用户数百人，考虑增开分群。

为鼓励群里小伙伴动手写代码，让小伙伴们学习数据抓取的内容，群主会为每个成功贡献代码的小伙伴发红包，现在群昵称为 @指间沙、 @Vincent--LC 等数名小伙伴已经获得了近百元的红包奖励~~

如果你也对数据感兴趣，或者闲来无聊想写点代码，又有钱赚何乐而不为呢？

群早已超 100 人不能扫码进入，请加微信拉你入群，方式见

http://pyanalysis.org/

[jjc27017]

实测，群员之一，努力在学习，表示群里都是大神，群主也比较好耐心哈哈哈哈哈用￥来鼓励我们学习

[ljhygh]

本人目前群里一只小菜鸡，努力学习当中

[zhijiansha]

可以的，练手挺好，坐等楼主项目完成

[smileghost]

超好玩的呀，群主大神带着我们飞，还有红包拿，美滋滋~(～￣▽￣)～

[dlsflh]

这楼上的回复我都觉得是机器人。点开除了第一个又好像没啥问题…

[jjc27017]

@dlsflh 我只是注册时间短了一点而已。。。。别这样

[golmic]

@dlsflh #5 这都是群里的真实朋友。

[xuyl]

粗略看了下项目, 用 scrapy 做爬虫，pipelines 里数据持久化到 mongodb，只不过 process_items 方法有点小问题，没有去重。改成这样也许更好：

```
def process_item(self, item, spider):
self.db['proxys'].update({'ip': item['ip']}, dict(item), True)
return item
```

[golmic]

@xuyl #8 谢谢，去重肯定 要做的，其实这个项目背后还有一个代理打分系统没有开源出来。欢迎一起来交流啊~

[gamecreating]

网站跪了

[sunchen]

爬的买的代理 IP 都是垃圾，ADSL 才是王道

[cyancat0525]

你确定这个是"池"吗

[golmic]

@gamecreating #10 没有啊，一直正常

[golmic]

@cyancat0525 #12 确定，后面还有一个打分系统

[steveway]

微信群并加不进去

[golmic]

@steveway #15 因为人满了，加我微信我拉你。

[steveway]

@golmic 就是加你微信没反应呀

[golmic]

@steveway 再加一下，或者我加你，我网站上有各种联系方式

[gamecreating]

@golmic 北京电信 无法链接

[YMB]

= =

[golmic]

@gamecreating #19 其他小伙伴没有反馈。我北京联通正常

[Soar360]

爬虫工程师的自(｡･∀･)ﾉﾞ嗨
https://proxy.coderbusy.com/

[naiba]

@Soar360 666 啊，ip 是哪里来的

[golmic]

@naiba 互联网采集

[beshe]

github 上得星较多的一个相似项目

https://github.com/jhao104/proxy_pool

[golmic]

@beshe #25 这个项目我读过源码，存在多线程异步锁未释放问题，排查起来异常复杂，并且现在你去看看 issue 很多人提这个问题。所以自己基于 Scrapy 重写了一套，我也写了一套更完善的打分系统，后续也会开源出来。

[doun]

不是用 TOR 来做 IP 池比较好吗？

[sangmong]

如何区分雌性雄性？

[sangmong]

回复错了，尴尬。。。