首页 > 其他分享 >Kafka 集群

Kafka 集群

时间:2024-01-25 23:24:46浏览次数:25  
标签:Partition Broker Kafka Topic 集群 Consumer

典型拓扑结构

Kafka 集群包含若干个 Producer,若干个 Broker (Kafka 集群支持水平扩展,一般 Broker 数量越多,整个 Kafka 集群的吞吐量也就越高),若干个 Consumer Group,以及一个 Zookeeper 集群。

Kafka 通过 Zookeeper 管理集群配置。

Producer 使用 Push 模式将消息发布到 Broker 上,Consumer 使用 Pull 模式从 Broker 上订阅并消费消息。

Kafka 数据流

Producers 往 Brokers 中指定的 Topic Push 消息,Consumers 从 Brokers 里面 Pull 指定 Topic 的消息,然后进行业务处理。

图中有两个 Topic,并且每个 Partition 上色数据在其他 Broker 服务器上都有一份副本:

  • Topic-0 有两个 Partition,Partition-0 和 Partition-1;
  • Topic-1 有一个 Partition。

可以看到 Consumer-Group-1 中的 Consumer-2 没有分到 Partition 处理,这是有可能出现的。

参考:

标签:Partition,Broker,Kafka,Topic,集群,Consumer
From: https://www.cnblogs.com/i9code/p/17988399

相关文章

  • Kafka 中一些常见的问题
    消息消费的顺序问题消息在被追加到Partition的时候都会分配一个特定的偏移量(offset),Kafka通过偏移量(offset)来保证消息在分区内的顺序性。为了保证Kafka中消息消费的顺序,可以采用以下2种方法:设置1个Topic只对应一个Partition破坏了Kafka的设计初衷,不推荐使用。......
  • Kafka 的高可用原理
    Kafka集群由若干个Broker组成,Topic由若干个Partition组成,每个Partition可存在不同的Broker上。可以这样说,一个Topic的数据,分散在多个机器上,即每个机器上都存放一部分数据。Kafka0.8以前Kafka0.8以前是没有高可用机制的。假设一个Topic,由3个Partiton组成。......
  • Kafka 特性总结
    Kafka特性可总结如下:1.高可用Kafka0.8以前是没有高可用机制的。Kafka0.8以后,通过副本机制来实现高可用,基于副本机制实现Kafka的高可用。2.持久性Kafka集群接收到Producer发过来的消息后,将其持久化到磁盘。此外,还支持数据备份。3.数据不易丢失通过合理的配置,Ka......
  • 三、kubernetes 集群 YAML 文件详解
    1、YAML文件概述k8s集群中对资源管理和资源对象编排部署都可以通过声明样式(YAML)文件来解决,也就是可以把需要对资源对象操作编辑到YAML格式文件中,我们把这种文件叫做资源清单文件,通过kubectl命令直接使用资源清单文件就可以实现对大量的资源对象进行编排部署了。2、YA......
  • kafka为什么不支持读写分离?
    在kafka中,生产者写入消息,消费者读取消息的操作都是与leader副本进行交互的,从而实现的是一种主写主读的生产消费模型。kafka不支持读写分离,也就是主写从读。读写分离有以下不足:(1)主从延时。类似Redis,数据从写入主节点,再同步到从节点中的过程需要耗费一些时间。如果对延时的......
  • kafka 学习贴
    为什么要使用Kafka消息队列?解耦、削峰:传统的方式上游发送数据下游需要实时接收,如果上游在某些业务场景:例如上午十点会流量激增至顶峰,那么下游资源可能会扛不住压力。但如果使用消息队列,就可以将消息暂存在消息管道中,下游可以按照自己的速度逐步处理;可扩展:通过横向扩展生产者......
  • centos7部署kafka服务
    centos7下面安装kafka服务,用于自己测试1.安装JAVA环境yum-yinstalljava-1.8.0-openjdk2.下载代码curl-okafka_2.13-3.6.1.tgzhttps://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz3.更改配置运行tar-xfkafka_2.13-3.6.1.tgzcdkafka_2.13-3.6.1se......
  • K8s集群CoreDNS监控告警最佳实践
    本文分享自华为云社区《K8s集群CoreDNS监控告警最佳实践》,作者:可以交个朋友。一背景coreDNS作为K8s集群中的关键组成部分。主要负责k8s集群中的服务发现,域名解析等功能。如果在使用过程中出现域名解析失败,域名解析超时等情况,需要引起注意。二方案简介可以通过CCE集群插件kub......
  • kafka常用命令
    进入kafka服务bin目录查看主题./kafka-topics.sh--list--bootstrap-server10.1.1.2:9092创建主题./kafka-topics.sh--bootstrap-server10.1.1.2:9092--create--topicmytopic--partitions1查看消费者列表-list./kafka-consumer-groups.sh--bootstrap-server10.1.1.2......
  • 第三章 Spring Boot 整合 Kafka消息队列 消息者
    ​ 前言        Kafka是一个消息队列产品,基于Topicpartitions的设计,能达到非常高的消息发送处理性能。本文主是基于SpirngBoot封装了Apache的Kafka-client,用于在SpringBoot项目里快速集成kafka。 一、Kafka是什么?ApacheKafka是分布式发布-订阅消息系统。......