问问各位大佬在自己公司的项目中用到 kafka 的时候,都是配置一个 topic 对应一个分区 partition 吗?(是为了保证消息被顺序消费吗?) 有没有 1 个 topic 对应多个分区的应用场景?
1
lhx2008 2020-03-10 14:12:54 +08:00 via Android
多个分区可以一个客户端并发消费,速度会快一点。如果要求发送和接收顺序一致,也一个分区。
|
2
asAnotherJack 2020-03-10 14:14:19 +08:00
多个 partition 可以有多个消费者,对顺序没要求的话可以加快消费速度
|
3
xinyewdz 2020-03-10 14:17:25 +08:00
一个分区,那就无法横向扩展了。保证有序,可以指定 key。相同的 key 会被存储到同一个分区的。
|
4
sbt OP |
5
lovelife1994 2020-03-10 14:25:09 +08:00 via iPhone
单个分区也无法保证一定是有序的,最多实现单个 producer 实例在某个分区是有序的。
|
6
lovelife1994 2020-03-10 14:35:12 +08:00 via iPhone
@lovelife1994 1.0 之后的幂等 producer 支持在单个 producer session 单分区内有序?之前配置 in-flight request 为 1
|
7
thinkmore 2020-03-11 17:51:58 +08:00
|