首页 > 其他分享 >Kafka学习笔记(七):Kafka KRaft - Removing Zookeeper

Kafka学习笔记(七):Kafka KRaft - Removing Zookeeper

时间:2023-01-07 20:35:21浏览次数:49  
标签:Removing 分区 Zookeeper Kafka Apache KRaft

关于 Kafka KRaft

  • 在2020年,Apache Kafka项目做开始着手移除 Zookeeper 依赖(KIP-500)
  • 当Kafka集群拥有超过10万个分区时,Zookeeper 有扩展问题
  • 删除 Zookeeper 之后,Apache Kafka 可以
    • 扩展到百万级分区,变得更容易维护和设置
    • 提升稳定性,更易监控、支持和管理
    • 为整个系统提供单一的安全模型
    • 启动 Kafka 也会容易很多
    • 更快的关闭和恢复时间
  • Kafka 3.x 实现了 Raft 协议,以替代 Zookeeper(Not production ready)

Kafka KRaft Architecture

标签:Removing,分区,Zookeeper,Kafka,Apache,KRaft
From: https://www.cnblogs.com/Bota5ky/p/17033404.html

相关文章

  • Kafka学习笔记(六):Zookeeper
    ZookeeperZookeeper管理代理,保留一份代理的名单Zookeeper帮助完成分区的领导者选举当kafka有更改时,Zookeeper会发送通知,比如新的主题、代理崩溃、代理启动、删除主题等......
  • 基于SpringBoot 使用 Flink 收发Kafka消息
    前言这周学习下Flink相关的知识,学习到一个读写Kafka消息的示例,自己动手实践了一下,别人示例使用的是普通的JavaMain方法,没有用到springboot.我们在实际工作中会使用spr......
  • centos7搭建kafka
    一、安装java8yuminstalljava-1.8.0-openjdk.x86_64yuminstalljava-1.8.0-openjdk-devel.x86_64二、安装 Zookeeper1.下载zookeeperwgethttps://archive.a......
  • kafka学习总结018 --- 消息过期设置
    一、kafka全局消息过期时间设置目录:kafka_2.13-3.3.1/config/server.properties#Theminimumageofalogfiletobeeligiblefordeletionduetoagelog.retentio......
  • ZooKeeper 避坑实践:SnapCount 设置不合理导致磁盘爆满,服务不可用
    作者:子葵背景在ZooKeeper的日常使用过程中,一个令人头疼的问题就是节点的磁盘容量问题,如果由于过大的TPS或者不适当的清理策略会导致集群中数据文件,日志文件的堆积,最终导......
  • ZooKeeper 避坑实践:SnapCount 设置不合理导致磁盘爆满,服务不可用
    作者:子葵背景在ZooKeeper的日常使用过程中,一个令人头疼的问题就是节点的磁盘容量问题,如果由于过大的TPS或者不适当的清理策略会导致集群中数据文件,日志文件的堆积,最......
  • kafka核心原理的秘密,藏在这16张图里【转】
    作者:码哥字节kafka是一个优秀的分布式消息中间件,许多系统中都会使用到Kafka来做消息通信。对分布式消息系统的了解和使用几乎成为一个后台开发人员必备的技能。今天码......
  • kafka详解(5)-KAFKA重复消费和消息丢失
    Kafka重复消费重复消费消息重复消费的根本原因都在于:已经消费了数据,但是offset没有成功提交。其中很大一部分原因在于发生了再均衡。1)消费者宕机、重启等。导致消息已......
  • kafka-windows启动遇到的一个小问题
    在安装kafka后启动Windows下启动文件,出现输入行太长,语法错误的问题,原因在于,kafka所在目录结构太长,将目录缩短就行了  zookeeper启动脚本zookeeper-server-start......
  • kafka消费者组的概念
    1  什么是kafka消费者组    kafka消费者组(ConsumerGroup)是kafka提供的可扩展且具有容错性的消费者机制。  它是一个组,所以内部有可以有多个消费者,这些消费......