标签:顺序 里面 队列 partition 如何 消费 消息 保证数据
这个问题从两个方面进行回答:为什么会存在无序消费,如何保证有序消费
1 为什么会存在无序消费?
kafka的一个topic的数据,可以维护多个partition来实现消息的分片,生产者在生产数据的时候,会根据key来进行取模,决定将消息存储到哪一个partition里面。而且消息是按照先后有序的去存储在partition里面的。
假设一个topic里面有三个partition,而消息正好被路由到三个独立的partition里面,然后消费端有三个消费者通过balance(负载均衡)的机制分别指派了对应的消费分区。因为消费者是完全独立的网络节点,所以,消费者的消费顺序可能不是按照消息发送的,从而导致消费乱序的问题。
2 如何保证有序消费
针对这个问题,一般的解决方法是,自定义消息路由的一个算法。然后把指定的key都发送到同一个partiyion里面。然后我们指定一个消费者,专门去消费某一个分区的数据,这样就可以顺序消费了。
补充:在有些设计方案中,
消费端会采用多线程的方式提高消息的处理效率,这种情况也会出现消息处理无序的问题。针对这个问题,一般是在
消费端采用一个阻塞队列,把获取到的消息保存在阻塞队列里面,然后采用一个异步线程从队列里来获取消息。
标签:顺序,
里面,
队列,
partition,
如何,
消费,
消息,
保证数据
From: https://www.cnblogs.com/zhangpb/p/17164730.html