V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ITdream
V2EX  ›  服务器

关于 kafka 集群的问题

  •  
  •   ITdream · 2023-10-09 09:15:05 +08:00 · 1139 次点击
    这是一个创建于 430 天前的主题,其中的信息可能已经有所发展或是发生改变。

    kafka 集群,有 3 台机器,01 、02 、03 持续处理消息一小时后,只有 01 机器 kafka-logs 目录在持续增长,另外两台机器却无变化,但是运行是正常的,请问这是正常的吗? 昨晚压测过程中,01 机器磁盘撑满宕机了,整个 kafka 集群就都不消费了,这种该如何处理,请大佬指教

    8 条回复    2023-10-09 14:42:34 +08:00
    Shawns
        1
    Shawns  
       2023-10-09 09:42:50 +08:00
    估计 topic 没做分区或者分区不均
    la2la
        2
    la2la  
       2023-10-09 09:49:28 +08:00
    1. 检查一下 Topic 分区分布
    2. 设置合理的 Topic 过期方式
    someday3
        3
    someday3  
       2023-10-09 11:00:21 +08:00
    先检查一楼提的,然后把结果补充上来再讨论。
    ITdream
        4
    ITdream  
    OP
       2023-10-09 12:02:25 +08:00
    @Shawns 总共 6 个消费者,每个消费者线程数为 spring.kafka.consumer.concurrency = 5 ,分区设置 num.partitions=30 ,代码配置如下

    @KafkaListener(
    groupId = "${spring.application.name}",
    topics = Queue.Topic.PROPERTY_REPORT,
    concurrency = "#{'${spring.kafka.consumer.concurrency:1}'}",
    batch = "true")
    ITdream
        5
    ITdream  
    OP
       2023-10-09 12:03:33 +08:00
    @la2la 之前是 1 小时清理数据,现在改成 15 分钟清理,但未生效,配置如下

    log.retention.minutes=15
    log.segment.bytes=1073741824
    log.cleaner.delete.retention.ms=300000
    log.cleaner.backoff.ms=300000
    Shawns
        6
    Shawns  
       2023-10-09 14:34:45 +08:00
    @ITdream 和消费端没啥关系。要看 topic 创建时参数或者系统配置。你是开发吧,如果是你们自己搞的集群,看下官方文档或者搜索最佳实践,不是你们搞的,找交付的人看下。
    mingxulin
        7
    mingxulin  
       2023-10-09 14:38:56 +08:00 via iPhone
    生产者写入数据不均,让研发一下数据写入策略
    mingxulin
        8
    mingxulin  
       2023-10-09 14:42:34 +08:00 via iPhone
    如果不想解决数据写入不均的情况,可以设置 delete.retention.ms
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5065 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 07:44 · PVG 15:44 · LAX 23:44 · JFK 02:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.