首页 > 其他分享 >16_Kafka高级_数据一致性问题

16_Kafka高级_数据一致性问题

时间:2022-11-17 12:34:43浏览次数:45  
标签:16 ISR HW Kafka 故障 follower 一致性 leader


16_Kafka高级_数据一致性问题_数据


(1)follower故障

follower发生故障后会被临时踢出ISR,待该follower恢复后,follower会读取本地磁盘记录的上次的HW,并将log文件高于HW的部分截取掉,从HW开始向leader进行同步。等该follower的LEO大于等于该Partition的HW,即follower追上leader之后,就可以重新加入ISR了。

(2)leader故障

leader发生故障之后,会从ISR中选出一个新的leader,之后,为保证多个副本之间的数据一致性,其余的follower会先将各自的log文件高于HW的部分截掉,然后从新的leader同步数据。

注意:这只能保证副本之间的数据一致性,并不能保证数据不丢失或者不重复。

保证一致性是指两个一致性。
1、消费
2、存储


标签:16,ISR,HW,Kafka,故障,follower,一致性,leader
From: https://blog.51cto.com/u_15881639/5860647

相关文章