有人试过并发爬虫时把返回结果的处理放到消息队列中么?

[fyooo]

简单来说是我在想能不能把我想要下载的网站 url1, url2, url3 ... 等用 Requests 库发送请求后作为生产者放到消息队列里面，当这特定的 urlN 有返回包时消费者就从消息队列里面读取网站内容。

不知道技术上靠谱么?

[dawncold]

听起来你打算用一个很慢的队列技术来实现异步非阻塞框架的功能

[nilai]

这就是分布式的雏形。。。。

[wsbnd9]

这没有什么问题，简单点用 redis 更好点有 Kafka 然后开多进程去前面队列读取数据进行处理

[dawncold]

可以做得到，技术上没什么问题，比如 tornado 框架、asyncio 就可以做到

[p2pCoder]

我想了解 如何 拿到特定的返回包

[picone]

还真试过放到 redis 里面的 SET 集合里。
我用 Go 做过一个搜索引擎，当时就是把爬回来的结果发给消费者，消费者处理后把结果放到 Redis 的 SET 里面，同时还能去重，但是有个问题，消费者处理到的 url 越来越多，然后 Redis 存放的体积越来越大。。。

[asuraa]

我之前写了一个 用的是 mq 性能非常好

https://luodaoyi.com/p/python-yi-bu-duo-xian-cheng-chao-gao-xing-neng-pa.html

[baixiangcpp]

scrapy-redis python 安装这个就好了

[dawncold]

@wsbnd9 他的意思是要把网络 io 变成非阻塞的模式

[dawncold]

@p2pCoder socket 可 read 信号

[3IOhG7M0knRu5UlC]

可以啊，这不是很常用方案。要对数据做清洗处理才能入库。

[p2pCoder]

@dawncold 请教一下，这个 socket 要监听 什么参数，能拿到特定的包返回
还有就是 这个过程会有 包丢失吗？

[smilekung]

没问题啊 我现在就这么做的 更奢侈的是 我回吧 request 返回结果 直接存到 oss 里 然后把 key 丢到队列里

[smilekung]

不过 request 可以直接发异步请求啊 加一个回调 就可以在收到 response 时处理

[fyooo]

@smilekung 可以分享一下你的消息队列技术细节么？

[dawncold]

@p2pCoder linux 系统中把很多功能抽象成文件，比如 socket 也是。简单说就是，对方发送回响应到达本机网卡后，内核会找到等待处理的进程，通知它可以读取数据了。

[wsbnd9]

@dawncold so?

[cheesea]

你去看一下 pyspider 的源码，它就是这么干的。
调度器，下载器，结果处理器通过消息队列沟通，可以在一台机器上跑调度器，另外几台机器跑多个下载器和处理器，实现分布式。

[smilekung]

@fyooo 基本跟楼上说的一样 要抓取的连接和抓取的内容都通过消息队列交互 如果是你的需求可以直接用一个异步的 request 工具

[lxwu]

技术上没什么问题，但是脱离业务场景谈架构是无意义的。
队列最根本的目的还是解耦，你这里说将队列放置在请求之后，而调度与请求还是一个高耦合的状态。
另外，我引入一个业务场景，假设 url （ url1, url2, ...）有抓取优先级，那么你这个设计如何满足需求？