首页 > 其他分享 >【kafka】Kafka-Kraft 集群模式

【kafka】Kafka-Kraft 集群模式

时间:2025-01-04 16:01:37浏览次数:3  
标签:依赖 不再 zookeeper kafka controller 集群 Kraft Kafka

在这里插入图片描述

1.概述

在这里插入图片描述

左图为 Kafka 现有架构,元数据在 zookeeper 中,运行时动态选举 controller,由controller 进行 Kafka 集群管理。右图为 kraft 模式架构(实验性),不再依赖 zookeeper 集群,而是用三台 controller 节点代替 zookeeper,元数据保存在 controller 中,由 controller 直接进行 Kafka 集群管理。

这样做的好处有以下几个:

  • Kafka 不再依赖外部框架,而是能够独立运行;

  • controller 管理集群时,不再需要从 zookeeper 中先读取数据,集群性能上升;

  • 由于不依赖 zookeeper,集群扩展时不再受到 zookeeper 读写能力限制;

  • controller 不再动态选

标签:依赖,不再,zookeeper,kafka,controller,集群,Kraft,Kafka
From: https://blog.csdn.net/qq_21383435/article/details/133924678

相关文章

  • .NET Core + Kafka 开发指南
    什么是KafkaApacheKafka是一个分布式流处理平台,由LinkedIn开发并开源,后来成为Apache软件基金会的顶级项目。Kafka主要用于构建实时数据管道和流式应用程序。Kafka架构从下面3张架构图中可以看出KafkaServer实际扮演的是Broker的角色,一个KafkaCluster由多个Broker组成,......
  • kafka其他方式的多分区顺序消费(待补充)
    除单分区顺序消费外,Kafka还可通过以下方式实现消息顺序消费:1.基于事务的跨分区顺序消费原理:Kafka的事务机制允许应用程序在多个分区上原子性地写入消息,从而保证这些消息在多个分区间的顺序性。生产者开启事务后,一系列消息的发送被视为一个原子操作,要么全部成功,要么全部失......
  • linux mint安装kafka,及flume与kafka整合
    需要软件jdk1.8(jdk-8u131-linux-x64.rpm)zookeeper(zookeeper-3.4.10.tar.gz)kafka2.11-2.0.0flume1.8.0 把触控板的操作做为输出sudofusuma1>/var/log/script/test1112>&1& 1、jdk就不说了2、zookeeper安装,参考其他bin目录./zkServer.shstart查看状态./zkServ......
  • kafka开机自启失败问题处理
    前言:在当今大数据处理领域,Kafka作为一款高性能、分布式的消息队列系统,发挥着举足轻重的作用。无论是海量数据的实时传输,还是复杂系统间的解耦通信,Kafka都能轻松应对。然而,在实际部署和运维Kafka的过程中,我们常常会遭遇一些棘手的问题,其中Kafka开机自启配置就是一个看似简单......
  • Kafka安全优化文档:漏洞修复到安全加固
    文章目录1.1.漏洞修复1.1.1.ApacheKafka反序列化漏洞1.1.2.pm2-kafka代码执行漏洞1.1.3.ApacheKafka安全绕过漏洞1.1.4.ApacheKafkaDistribution-SchemaRepository跨站请求伪造漏洞1.1.5.ApacheKafka输入验证错误漏洞的补丁1.1.6.ApacheKafka信息泄露漏洞1.1.7.......
  • 【杂谈】Kafka的日志段为什么不用内存映射?
    什么是内存映射(Memory-MappedFile)?内存映射(mmap)是一种将文件内容映射到内存中的技术,应用程序可以像操作内存一样对文件内容进行读写,而不需要显式地进行磁盘I/O操作。修改的内容会自动由操作系统同步到磁盘。内存映射需要读取磁盘文件吗?需要。毕竟,内存中的数据来源于磁盘文件......
  • 消息中间件——rabbitmq,kafka,rocketmq
    目录mqmq解决什么问题rabbitmq工作原理消息路由如何保证消息不丢失实现高可用kafka能支持这么大吞吐量的原因如何保证消息不丢失避免重复消费如何保证消息顺序消费数据存储原理IRSleader选举rocketmq为什么不使用zookeeper分布式事务mqmessageQueue,消息......
  • Kafka为什么这么快? 高性能背后的原理?
    Kafka是一款性能非常优秀的消息队列,每秒处理的消息体量可以达到千万级别。今天来聊一聊Kafka高性能背后的技术原理。1批量发送Kafka收发消息都是批量进行处理的。我们看一下Kafka生产者发送消息的代码:privateFuture<RecordMetadata>doSend(ProducerRecord<K,V>re......
  • Kafka_2.13-3.6.0 常用命令快速指南
    Kafka_2.13-3.6.0常用命令及说明1.环境配置下载并解压Kafka#下载Kafka_2.13-3.6.0安装包wgethttps://downloads.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgz#解压文件tar-xzfkafka_2.13-3.6.0.tgz#进入Kafka目录cdkafka_2.13-3.6.0启动Zookeeper......
  • Flink CDC MySQL 同步数据到 Kafka实践中可能遇到的问题
    FlinkCDCMySQL同步数据到Kafka实践中可能遇到的问题一、问题场景[ERROR]CouldnotexecuteSQLstatement.Reason:org.apache.flink.table.api.ValidationException:Theprimarykeyisnecessarywhenenable'Key:'scan.incremental.snapshot.enabled',defau......