V2EX › noobpythoner 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

2017-06-08 13:02:53 +08:00

回复了 gap 创建的主题 › Python › Python 程序员的是被称为 Pythonista 吗？还是 Pythoner？

oh，糟了

2017-06-08 12:52:23 +08:00

回复了 Yingruoyuan 创建的主题 › Python › scrapy 下载图片到 4w 张左右总是会卡住

可以使用 scrapy_redis 来完成，所有的去重都是通过 redis 来完成的，还能够做到状态保持，如果需要可以实现分布式，redis 的内容类似下面，
redis > keys *
1) "***:dupefilter"
2) "***:items"
3) "***:requests"

或者可以迭代的读取数据库的内容，下一次请求之前从内存中删除上一次的请求地址，类似 https://www.ibm.com/developerworks/cn/xml/x-hiperfparse/
这个方法我自己没有试过，但是应该是可行的