V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
ARhen
V2EX  ›  问与答

RabbitMQ 消费存储到 Mysql 的速度?

  •  1
     
  •   ARhen · 2019-08-13 10:36:00 +08:00 · 1633 次点击
    这是一个创建于 1935 天前的主题,其中的信息可能已经有所发展或是发生改变。
    项目基础 :Springboot+MQ+Druid+Mysql

    因为需要从 api 获取到 1kw 左右的数据,现在的做法是 api->mq->mysql。

    存的数据基本是些文章数据,因此我还把 titile、content 单独放了张表

    消费那边我开线程,发现手动 ack 速度稳定在 200~300

    不知道这个速度是否正常,还是很低?有大佬能提下建议或者看法嘛?
    2 条回复    2019-08-13 12:08:02 +08:00
    1ffree
        1
    1ffree  
       2019-08-13 11:32:41 +08:00   ❤️ 1
    单机消费 300 不少了,瓶颈就在消费端吧
    首先确保数据写已经优化好,然后扩消费端机器&线程, 再后面就是数据库性能了
    ARhen
        2
    ARhen  
    OP
       2019-08-13 12:08:02 +08:00
    @1ffree 嗯,程序放在服务器上跑了,基本上在这个速度。
    开了一个线程池,线程池最大容纳线程刚好和最大预取数一致,也就是 50
    之前测试过,开多个程序感觉 ack 速度提不上来,没有明显的 1+1 的效果
    不知道是不是 mysql 那边的问题了。


    还有就是有个奇怪的地方,多台消费端的话,如何友好的处理这些消费端? 消费端一直开着嘛?后期队列有一条就会被拿走?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2760 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 02:18 · PVG 10:18 · LAX 18:18 · JFK 21:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.