首页 > 其他分享 >6.5 Kafka集群之Leader选举

6.5 Kafka集群之Leader选举

时间:2022-10-24 18:01:17浏览次数:51  
标签:leader 选举 zookeeper watch controller broker 6.5 Kafka Leader


1.Broker选举
(1).不采用多数投票方式选举的原因
kafka并没有采用多数投票来选举leader的(redis和es采用的是多数投票方式来进行选举的),原因有两个,一是防止选举时选举到了数据不全的broker,二是当选举没有通过一轮产生时,需要额外的第二轮、第三轮甚至更多的轮次,比较耗时间。

(2).watch
由于kafka集群依赖zookeeper集群,所以最简单的方案是所有follower都在zookeeper上设置一个watch。第一个启动的broker会在zookeeper中创建临时的controller节点,其它broker启动时会尝试创建controller节点,如果已存在该节点,在zookeeper中创建watch对象,接收控制器变更的通知。如果broker中的leader节点挂掉,其它broker通过watch收到controller变更的通知,尝试创建临时节点controller,一个创建成功,其它继续watch。

2.Partition选举
所有partition的leader选举都由controller决定。controller会将leader的改变直接通过rpc的方式通知需为此作为响应的broker。partition的选举过程主要为从zookeeper中读取当前分区的所有isr集合,调用配置的分区选择算法选择分区的leader。


标签:leader,选举,zookeeper,watch,controller,broker,6.5,Kafka,Leader
From: https://blog.51cto.com/u_15843693/5790762

相关文章

  • Kafka Consumer指定时间戳位置消费消息
    KafkaConsumer指定时间戳位置消费消息若用户不想从最旧的或最早的offset位置开始消费,想指定某个时间戳位置开始消费,是否可行呢?答案:可行的用户给定时间戳,kafkaserve......
  • 15.Linux下安装Kafka
    1.解压解压安装包并将解压后的目录移动到/usr/local/kafka目录下。tar-zxvfkafka_2.11-2.3.0.tgzmvkafka_2.11-2.3.0/usr/local/kafkacd2.启动cd3.检验执行jps命令,如......
  • 聊聊kafka
    两个月因为忙于工作毫无输出了,最近想给团队小伙伴分享下kafka的相关知识,于是就想着利用博客来做个提前的准备工作了;接下来会对kafka做一个简单的介绍,包括利用akf原则来解析......
  • kafka springBoot 报错 not present and missingTopicsFatal is true kafka missing-t
    这个问题可以追溯到springboot和kafka的版本问题,解决这个问题太麻烦,要去看官方文档,我选择不看。这里提供一种通用的解决方式在kafkaConfig配置文件中添加下面的代码/**......
  • 《Kafka: a Distributed Messaging System for Log Processing》论文阅读
    《Kafka:aDistributedMessagingSystemforLogProcessing》论文阅读这篇论文是LinkedIn在2011年发表的关于Kafka的论文;论文发表时,kafka还不够完善,使用的人也很少,但......
  • kafka listeners和advertised.listeners配置
    一、概述#Theaddressthesocketserverlistenson.Itwillgetthevaluereturnedfrom#java.net.InetAddress.getCanonicalHostName()ifnotconfigured.#FORMA......
  • Flink如何使用DataStreamAPI消费Kafka
    1、到官网查询所在版本的依赖,导入pom.xml(在此用Flink1.13)官网->教程->connectors->datastream->kafka网址:https://nightlies.apache.org/flink/flink-docs-release-1.1......
  • 103-windows 安装kafka
    下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/2)下载后解压到一个目录:eg:D:\Java\Tool\zookeeper-3.4.103)在zookeeper-3.4.10目录下,新建文件夹,并命名(......
  • kafka日常维护
     1.列出topics[yeemiao@elk1bin]$./kafka-topics.sh--zookeeper10.26.41.102:2181,10.26.41.60:2181,10.27.181.169:2181--list__consumer_offsetsbusiness-logsngi......
  • Kafka在centOS7下的安装
    单机模式#下载Kafka[root@kafka~]#wgethttps://archive.apache.org/dist/kafka/2.2.1/kafka_2.11-2.2.1.tgz#解压[root@kafka~]#tarzxfkafka_2.11-2.2.1.tgz[......