首页 > 其他分享 >Kafka的架构

Kafka的架构

时间:2023-01-20 15:31:08浏览次数:37  
标签:缓存 架构 producer broker Kafka topic 消息

Kafka的架构_缓存

Kafka的整体架构非常简单,是显式分布式架构,producer、broker(kafka)和consumer都可以有多个。Producer,consumer实现Kafka注册的接口,数据从producer发送到broker,broker承担一个中间缓存和分发的作用。broker分发注册到系统中的consumer。broker的作用类似于缓存,即活跃的数据和离线处理系统之间的缓存。客户端和服务器端的通信,是基于简单,高性能,且与编程语言无关的TCP协议。几个基本概念:

  1. Topic:特指Kafka处理的消息源(feeds of messages)的不同分类。
  2. Partition:Topic物理上的分组,一个topic可以分为多个partition,每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id(offset)。
  3. Message:消息,是通信的基本单位,每个producer可以向一个topic(主题)发布一些消息。
  4. Producers:消息和数据生产者,向Kafka的一个topic发布消息的过程叫做producers。
  5. Consumers:消息和数据消费者,订阅topics并处理其发布的消息的过程叫做consumers。
  6. Broker:缓存代理,Kafa集群中的一台或多台服务器统称为broker。

标签:缓存,架构,producer,broker,Kafka,topic,消息
From: https://blog.51cto.com/u_15130867/6020717

相关文章

  • MVC三层架构
    什么是MVC:Model view Controller 模型,视图,控制器Model控制业务操作。保持数据,修改数据,删除数据,查询数据View1.展示数据模型2.提供用户操作Controller1.......
  • 如何安装配置kafka
    最近项目需要用到kafa进行数据流处理,下面将安装部署kafka的方法简单介绍下。1:配置java环境修改/etc/bashrc文件,添加JAVA_HOMEcat/etc/bashrcexportJAVA_HOME=/root/jdk-......
  • 应用部署架构:如何降低云网络时延?
     导读:什么是时延?在电信系统中,不同应用对时延的要求是怎样的?如何通过部署架构降低网络传输时延?本文通过介绍云网络时延的构成,并对其进行量化分析,分享......
  • 100w人在线的 弹幕 系统,是怎么架构的?
    文章很长,而且持续更新,建议收藏起来,慢慢读!疯狂创客圈总目录博客园版为您奉上珍贵的学习资源:免费赠送:《尼恩Java面试宝典》持续更新+史上最全+面试必备2000页+面......
  • 一台云主机怎么搭建Kafka集群?[基于Docker]
    前提:首先服务器内存,建议在4G以上。安装docker、docker-compose服务器执行curlcip.cc查看公网IPdocker-compose一键运行yml将下面的内容中的[yourserverip]—......
  • 一文搞定大数据消息队列Kafka
    文章目录​​1.JMS+AMQP核心知识​​​​1.1.什么是MQ中间件​​​​1.2.使用场景​​​​1.3.JMS消息服务和和常见核心概念​​​​2.分布式流处平台Kafka核心概念​​​​......
  • Kafka快速入门(命令行操作)
    Kafka命令行操作Kafka基础架构主题命令行操作1)查看操作主题命令参数bin/kafka-topics.sh-参数-描述–bootstrap-server<String:servertoconnectto>连接的KafkaBroker......
  • Kafka快速入门(生产者)同步异步发送、分区、消息精确一次发送、幂等性、事务
    Kafka生产者1.生产者消息发送流程1.1发送原理在消息发送的过程中,涉及到了两个线程——main线程和Sender线程。在main线程中创建了一个双端队列RecordAccumulator。......
  • Kafka快速入门(安装集群)
    安装部署1.集群规划hadoop102hadoop103hadoop104zkzkzkkafkakafkakafka2.集群部署0)官方下载地址:​​官网​​1)解压安装包tar-zxvfkafka_2.12-3.0.0.tgz-C/opt/module......
  • ShardingSphere打造高性能架构模式
    一万年太久,只争朝夕......