想问下大佬们、近实时将 kafka 数据转存到 hive 中有什么比较好的方案？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 1238 days ago, the information mentioned may be changed or developed.

想实现程序跑完将数据插入 kafka 中某个 topic 、可以自动备份到 hive 表里、有什么比较成熟可靠得方案吗？

3 replies • 2022-12-10 16:11:50 +08:00

darrh00

Dec 8, 2022

flume 配置一下就可以了吧

ARMILKCHEN

Dec 9, 2022

@darrh00 flume 确实可以实现、但如果想复杂一点比如
插入往一个 topic 名为 user 对应的是往 hive user 表去下沉数据，我不确定 flume 能不能动态实现这样的效果

azkaban

Dec 10, 2022 via iPhone

flink 写啊