redis 分布式爬虫你们有没有遇到跑了一段时间在 redis 库中出现指纹和请求都消失了的情况吗?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 1973 天前的主题，其中的信息可能已经有所发展或是发生改变。

半夜跑一个爬虫,第二天起来发现已经关闭了,数据也没有抓很多,但是 redis 数据库中的指纹都没有了,不是不主动清楚不会给清掉的吗?

还有如果出现一些问题,比如 ip 池抽风了很久没有更新了,但是爬虫还在用这个, 出现一堆"远程主机无法连接"导致卡住,是不是程序会在一定时间(30 分钟)自动关闭啊?

更新一个问题分布式爬虫,但是 redis 数据库中只有 requests,没有指纹是咋回事?没有改源码

主文件修改 http://i1.fuimg.com/691087/2aae1d23cd8fe1ea.png

settings 文件修改 http://i1.fuimg.com/691087/3d03a6e6d2c679f2.png

Redis

爬虫

指纹

分布式

6 条回复 • 2021-01-04 10:29:33 +08:00

z1421012325

2019-07-01 23:27:30 +08:00

更新--->>>>貌似是 redis 库的问题爬了 4 个小时,最好 redis 库中的指纹消失了,我没与重启服务器过..

ebingtel

2019-07-02 08:46:06 +08:00

@z1421012325 是 redis 数据“库”的问题，还是 redis 客户端“库”的问题？

z1421012325

2019-07-02 13:29:03 +08:00

@ebingtel 分布式爬虫我的数据是放在 mongodb 中的,所以是存放指纹的数据库问题,

更新一下,爬了五个小时之后再去看发现数据库中的指纹都没了..

yumenoks

2019-07-12 21:57:50 +08:00

只有我是用 aiohttp 撸简易的分布式爬虫吗?..

no13bus

2021-01-04 10:28:04 +08:00

@z1421012325 加个微信，聊聊这块？我的微信 no13bus

no13bus

2021-01-04 10:29:33 +08:00

@yumenoks 嘻嘻。能否加微信聊聊呢？我也正在写 python 相关的抓取逻辑

redis 分布式爬虫你们有没有遇到跑了一段时间 在 redis 库中出现指纹和请求都消失了的情况吗?

redis 分布式爬虫你们有没有遇到跑了一段时间在 redis 库中出现指纹和请求都消失了的情况吗?