求问有 kafka 的监控工具么？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2631 天前的主题，其中的信息可能已经有所发展或是发生改变。

现在利用 kafka 来分发数据给不同的部门。

但是需要统计给不同部门分发的多少 BYTE 的数据。

条数我还能根据 cgroup 的 offset 来统计。

但是数据量大小就没啥思路了。

不知道有没有现成的工具没有。

9 条回复 • 2017-09-18 00:05:01 +08:00

gqlxj1987

2017-09-13 09:56:52 +08:00

kafka-manager

reAsOn

2017-09-13 09:57:57 +08:00

jmx 里面啥都有

ayiis

2017-09-13 10:26:12 +08:00

同 1 楼，km 用了近两年，总体满意

h3nng

2017-09-13 11:52:48 +08:00

哈哈，我们自己做了一个，比目前开源的工具都好太多（不过开源的也少），不过我们暂时没开源。。数据量 KAFKA 自身是有统计的，可以参考 2 楼说的 JMX，官网有 JMX 的各种 Bean

yanzixuan

2017-09-13 15:29:30 +08:00

@h3nng 目前自己写了个脚本。从 ZOOKEEPER 里面获取 cgroup 每个小时消费的数据然后丢 elasticsearch。
然后用 kibana 展示。目前先这么凑合着用了。。

AntonChen

2017-09-13 16:04:37 +08:00

ayiis

2017-09-13 16:32:15 +08:00

@AntonChen 这个我们以前用过，不稳定而且最高才支持到 0.9.0

AntonChen

2017-09-13 16:41:00 +08:00

@ayiis 我们现在线上就是 0.9.0.1 没毛病

messense

2017-09-18 00:05:01 +08:00