V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
FreeEx
V2EX  ›  分享创造

分享一个 kafka 工具 kafka-map 。

  •  
  •   FreeEx ·
    dushixiang · 2021-04-12 20:13:07 +08:00 · 2887 次点击
    这是一个创建于 1082 天前的主题,其中的信息可能已经有所发展或是发生改变。

    众所周知,kakfa 是没有 UI 界面的,使用管理有诸多不便,因为没找到什么好用的工具,我也只好自己写一个了,因此 kafka-map 就这样诞生了。

    我给它起的 slogan 是:给编程插上翅膀,给 kafka 安装上导航。

    目前支持的功能有:

    • 多集群管理
    • topic 监控 —— 查看分区数量、副本数量、存储大小、offset
    • topic 管理 —— 创建、删除、扩容
    • broker 查看 —— Partitions as Leader 、 Partitions as Follower
    • consumer 管理(查看、删除)
    • 重置 offset
    • 消费消息 —— 支持 String 和 json 方式展示

    更多详细信息可查看 https://github.com/dushixiang/kafka-map

    21 条回复    2021-06-06 11:03:33 +08:00
    CallMeReznov
        1
    CallMeReznov  
       2021-04-12 20:14:43 +08:00
    start 了
    HAWCat
        2
    HAWCat  
       2021-04-12 21:42:50 +08:00
    N!CE,刚好需要,已 start,加油⛽️
    FreeEx
        3
    FreeEx  
    OP
       2021-04-12 21:58:32 +08:00
    @CallMeReznov
    @HAWCat
    感谢两位,使用中有任何问题都可以沟通哦
    airyland
        4
    airyland  
       2021-04-12 23:03:26 +08:00
    对一二楼单词进行修正:start => star
    zhoudaiyu
        5
    zhoudaiyu  
       2021-04-12 23:31:55 +08:00 via iPhone
    非抬杠,请问和 https://github.com/didi/Logi-KafkaManager 还有 https://github.com/yahoo/CMAK 比有啥优势吗?
    FreeEx
        6
    FreeEx  
    OP
       2021-04-12 23:51:28 +08:00 via iPhone
    @zhoudaiyu 滴滴的做的功能太杂了,我只想看 kafka 相关的数据
    cmak 原 kafka-manager 不能重置 offset,不能消费数据,不能产生数据
    amwyyyy
        7
    amwyyyy  
       2021-04-13 09:30:06 +08:00
    回去试试
    amwyyyy
        8
    amwyyyy  
       2021-04-13 10:15:51 +08:00
    小建议
    1. topic 列表的副本数量,显示的是副本数*分区数了吧,和创建 Topic 里填的不一样。
    2. 消费详情里把消费组 id 和 ip 地址显示下。
    kevin1452
        9
    kevin1452  
       2021-04-13 10:22:33 +08:00
    我们这边有一个需求是根据日期来获取 message 可以试试加上~ 从使用方了解到排查错误根据时间查的情况还挺多的. 大佬方便留个联系方式不, 可以交流下我们这边的轮子
    cernard
        10
    cernard  
       2021-04-13 10:33:28 +08:00   ❤️ 1
    简单查看的话推荐 Kafka tool,下个软件安装即可,不用折腾部署的事儿。https://www.kafkatool.com/
    FreeEx
        11
    FreeEx  
    OP
       2021-04-13 10:45:08 +08:00
    @amwyyyy 1. topic 列表里面显示的总的副本数量 2. 消费组 id 可以,ip 应该是获取不到的
    FreeEx
        12
    FreeEx  
    OP
       2021-04-13 10:48:22 +08:00
    @kevin1452 我准备后期加上消费消息的各种过滤的,目前这块的功能还是比较简陋,wx:dHlwZS1zYWZl
    FreeEx
        13
    FreeEx  
    OP
       2021-04-13 10:50:58 +08:00
    @cernard 了解,kafkatool 除了不太美观其他的都还好,我本来也打算做成客户端的,但是 Java 的桌面客户端技术实在是不先进,做出来说不定比 kafkatool 还丑,我也只好改做成 web 的了。
    KentY
        14
    KentY  
       2021-04-14 08:06:50 +08:00
    FreeEx
        15
    FreeEx  
    OP
       2021-04-14 09:28:30 +08:00
    @KentY 他这个有点慢,试试我这个
    sinux
        16
    sinux  
       2021-04-14 13:55:00 +08:00
    推荐个直接写成 app 的工具吧,https://www.conduktor.io/ ,我日常都是用这个,基本上 cover 了楼主的功能,而且不需要在本地跑 web server
    FreeEx
        17
    FreeEx  
    OP
       2021-04-14 14:33:19 +08:00
    @sinux 我用过,这个工具卡顿,而且 UI 有点丑。我写的功能目前还是比较简单的,老哥有好的建议可以提呀,后面会增加的。
    sinux
        18
    sinux  
       2021-04-15 12:30:06 +08:00
    @FreeEx 做好了可以包一个 electron / xxx native 之类的
    1462326016
        19
    1462326016  
       2021-06-05 21:30:38 +08:00
    已 star,并且提了一个 PR,希望能增加 Docker 版,我比较习惯于直接使用 Docker 运行🤣🤣一条命令直接部署简单粗暴,哈哈
    ps:如果可以自动上传 DockerHub 就更好了😀
    FreeEx
        20
    FreeEx  
    OP
       2021-06-05 23:46:03 +08:00
    @1462326016 明天我加到 GitHub 的 Action 里面,自动推送到 docker hub 上吧。
    1462326016
        21
    1462326016  
       2021-06-06 11:03:33 +08:00
    @FreeEx 👍
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2832 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 14:35 · PVG 22:35 · LAX 07:35 · JFK 10:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.