fsd010 最近的时间轴更新 fsd010 最近的时间轴更新 |
fsd010V2EX 第 65058 号会员，加入于 2014-06-14 13:50:09 +08:00 |
| python 爬虫释放资源相关问题 Python • fsd010 • 2016-01-02 17:21:19 PM • 最后回复来自 fsd010 | 8 |
fsd010 最近回复了
2016-01-02 17:21:19 +08:00 回复了 fsd010 创建的主题 › Python › python 爬虫释放资源相关问题 |
@Daniel65536 我问一下哈~如果按我原来的写法 requests.post 循环 1000 次，就建立 1000 个链接？如果采用 session 的方法可以复用链接不需重新建立连接？
2016-01-02 16:43:23 +08:00 回复了 fsd010 创建的主题 › Python › python 爬虫释放资源相关问题 |
@ratazzi 那是得每次请求后中断连接？还是指一个进程就一个链接？
2016-01-02 16:42:12 +08:00 回复了 fsd010 创建的主题 › Python › python 爬虫释放资源相关问题 |
@imn1 刚刚试验下， ctrl+c 没有中断连接，还保持，重启进程链接流量继续传输，可能传输的容量有限制，循环累积下很大就报错，线程不多就一个
2016-01-02 15:47:21 +08:00 回复了 fsd010 创建的主题 › Python › python 爬虫释放资源相关问题 |
@imn1 服务器那边无法接触到，这边代码上也没有做保持连接的做法，就默认 requests.post 就在这样
2016-01-02 15:14:18 +08:00 回复了 cyneuzk 创建的主题 › Python › 新学爬虫，想请大家帮忙看下 |
我想问下，服务器连接池有限，怎样做到请求后释放资源？新手求解
Select Language