首页 > 其他分享 >Kafka 与 Zookeeper 关系

Kafka 与 Zookeeper 关系

时间:2024-01-25 23:25:35浏览次数:34  
标签:关系 topic Partition Zookeeper Broker Kafka Topic

Zookeeper 为 Kafka 提供集群的管理。不仅保存着集群的 Broker、Topic、Partition 等元数据,还负责 Broker 故障发现、Leader 选举、负载均衡等。

  • Broker 元数据管理

    在 Zookeeper 上会有一个专门用来进行 Broker 服务器列表记录的节点。每个 Broker 在启动时,都会到 Zookeeper 上进行注册,即到 /brokers/ids 下创建属于自己的节点,每个 Broker 会将自己的 IP 地址和端口等信息记录到该节点中去。

  • Topic 元数据管理

    在 Kafka 中,同一个Topic 的消息会被分成多个分区并将其分布在多个 Broker 上,这些分区信息及与 Broker 的对应关系由 Zookeeper 维护。比如 my-topic 的 Topic 有 2 个分区,对应到 Zookeeper 中会创建这些文件夹:/brokers/topics/my-topic/Partitions/0/brokers/topics/my-topic/Partitions/1

  • 负载均衡

    对于同一个 Topic 的不同 Partition,Kafka 会将这些 Partition 分布到不同的 Broker 服务器上,生产者产生消息后也会尽量投递到不同 Broker 的 Partition 中,当 Consumer 消费的时候,Zookeeper 可以根据当前的 Partition 数量以及 Consumer 数量来实现动态负载均衡。

参考:

标签:关系,topic,Partition,Zookeeper,Broker,Kafka,Topic
From: https://www.cnblogs.com/i9code/p/17988396

相关文章

  • Kafka 的数据存储设计
    Segment数据文件Partition在物理上由多个Segment数据文件组成,每个Segment数据文件大小相等、按顺序读写。每个Segment数据文件的第一个文件名从0开始,后续每个Segment文件名为上一个全局Partition的最大offset,文件扩展名为.log。在查找指定Offset的Message中,用......
  • Kafka 集群
    典型拓扑结构Kafka集群包含若干个Producer,若干个Broker(Kafka集群支持水平扩展,一般Broker数量越多,整个Kafka集群的吞吐量也就越高),若干个ConsumerGroup,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置。Producer使用Push模式将消息发布到Broker上,C......
  • Kafka 中一些常见的问题
    消息消费的顺序问题消息在被追加到Partition的时候都会分配一个特定的偏移量(offset),Kafka通过偏移量(offset)来保证消息在分区内的顺序性。为了保证Kafka中消息消费的顺序,可以采用以下2种方法:设置1个Topic只对应一个Partition破坏了Kafka的设计初衷,不推荐使用。......
  • Kafka 的高可用原理
    Kafka集群由若干个Broker组成,Topic由若干个Partition组成,每个Partition可存在不同的Broker上。可以这样说,一个Topic的数据,分散在多个机器上,即每个机器上都存放一部分数据。Kafka0.8以前Kafka0.8以前是没有高可用机制的。假设一个Topic,由3个Partiton组成。......
  • Kafka 特性总结
    Kafka特性可总结如下:1.高可用Kafka0.8以前是没有高可用机制的。Kafka0.8以后,通过副本机制来实现高可用,基于副本机制实现Kafka的高可用。2.持久性Kafka集群接收到Producer发过来的消息后,将其持久化到磁盘。此外,还支持数据备份。3.数据不易丢失通过合理的配置,Ka......
  • 运算符的关系简览
     C/C++运算符优先级 优先级运算符名称或含义使用形式结合方向说明1[]数组下标数组名[常量表达式]左到右--()圆括号(表达式)/函数名(形参表)--.成员选择(对象)对象.成员名--->成员选择(指针)对象指......
  • 关系网demo
    树状图显示层级关系,使用d3js竖形<!DOCTYPEhtml><htmllang="en"><head><metacharset="UTF-8"/><metaname="viewport"content="width=device-width,initial-scale=1.0"/><title>......
  • 利害关系和利益关系区别如下:
    利害关系和利益关系区别如下:1.含义不同:利益关系是指国家、集体与个人三者之间的利益关系;利害关系是指个人与个人、个人与社会、个人与国家、国家与社会之间的利益关系。2.针对对象不同:利益关系针对的是国家、集体与个人三者之间的;利害关系针对的是人与人,人与社会,人与国家之间的......
  • kafka为什么不支持读写分离?
    在kafka中,生产者写入消息,消费者读取消息的操作都是与leader副本进行交互的,从而实现的是一种主写主读的生产消费模型。kafka不支持读写分离,也就是主写从读。读写分离有以下不足:(1)主从延时。类似Redis,数据从写入主节点,再同步到从节点中的过程需要耗费一些时间。如果对延时的......
  • R语言多维度视角下白领人群健康体质检测数据关系可视化分析
    随着社会经济的发展和人们生活水平的提高,健康问题越来越受到关注。白领阶层作为社会的重要组成部分,其健康状况对于个人和社会都具有重要意义。然而,由于工作和生活方式的改变,白领阶层的健康问题逐渐凸显,如身体成分异常、动脉硬化等。因此,本文旨在帮助客户通过R语言数据分析和可视化......