V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
jakeyfly
V2EX  ›  问与答

RQ kafka 都太大了,有没有轻量一点的管道啊

  •  
  •   jakeyfly · 2018-11-24 23:12:39 +08:00 · 2202 次点击
    这是一个创建于 2225 天前的主题,其中的信息可能已经有所发展或是发生改变。

    就是一个爬虫用,抓了数据进管道,然后另一端清洗归类存 SQL。 但抓的东西会分类,有没有可以分类,可以像 KAFKA 那样搞好几个主题分类,不同的数据进不同的管道,另一端也是不同的处理类模块接收处理?

    其实 kafka 看上去极好,就是这种要单独运行一个服务的东西,真的不喜欢,又不是多大的项目,没必要啊。

    8 条回复    2018-11-25 20:04:57 +08:00
    feverzsj
        1
    feverzsj  
       2018-11-24 23:23:52 +08:00
    你建个表做消息队列不就好了
    fsneak
        2
    fsneak  
       2018-11-24 23:28:41 +08:00 via Android   ❤️ 1
    用 Redis 的 channel,够轻量吧
    ericls
        3
    ericls  
       2018-11-24 23:32:53 +08:00 via iPhone
    Elixir/Erlang 自带的消息?
    julyclyde
        4
    julyclyde  
       2018-11-25 08:45:34 +08:00
    抗拒“独立运行一个服务”
    试试 zeromq ?
    CodeCore
        5
    CodeCore  
       2018-11-25 12:06:29 +08:00 via iPhone
    NSQ,NATS,推荐用有赞自己 Fork 的 NSQ。。。
    CodeCore
        6
    CodeCore  
       2018-11-25 12:07:27 +08:00 via iPhone
    @CodeCore 都是 Go 写的,很轻量。。。性能屌。NATS 更屌。。。
    endoffight
        7
    endoffight  
       2018-11-25 12:31:09 +08:00 via Android
    beanstalk
    BingoXuan
        8
    BingoXuan  
       2018-11-25 20:04:57 +08:00
    zmq ?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2799 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 09:29 · PVG 17:29 · LAX 01:29 · JFK 04:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.