首页 > 其他分享 >kafka简介

kafka简介

时间:2022-12-21 09:12:02浏览次数:46  
标签:副本 简介 分区 信息 Kafka 消息 日志 kafka

基本概念

名称 作用
topic主题 一组消息,对消息的一个分类。生产者发送消息到特定主题,消费者订阅主题或者某些主题的分区进行消费
message消息 kafka通信的基本单位
分区和副本 每个主题又被分成一个或多个分区( Partition ) 。每个分区由一系列有序、不可变的消息组成,是一个有序队列。每个分区又有一至多个副本( Replica ),分区的副本分布在集群的不同代理上,以提高可用性
leader副本follower副本 只有Leader 副本才负责处理客户端读/写请求, Follower 副本从Leader 副本同步数据
偏移量
日志段 一个日志又被划分为多个日志段( LogSegment ),日志段是Kafka 日志对象分片的最小单位
代理
生产者 生产者( Producer )负责将消息发送给代理,也就是向Kafka 代理发送消息的客户端。
消费者和消费者组 。同一个主题的一条消息只能被同一个消费组下某一个消费者消费,但不同消费组的消费者可同时消费该消息。广播和单播
ISR
zk Kafka 利用ZooKeeper 保存相应元数据信息, Kafka 元数据信息包括如代理节点信息、Kafka集群信息、旧版消费者信息及其消费偏移量信息、主题信息、分区状态信息、分区副本分配方案信息、动态配置信息等。

标签:副本,简介,分区,信息,Kafka,消息,日志,kafka
From: https://www.cnblogs.com/braveman1021/p/16995498.html

相关文章

  • MyBatis简介
    MyBatis简介1.什么是MyBatis一款优秀的持久层框架几乎避免了所有的JDBC代码和手动设置参数以及获取结果集的过程使用简单的XML或注解来配置和映射原生信息,将接口和Ja......
  • kafka增加partition
    kafka-stream-topic-testkafka-stream-test:partitionsassigned:[kafka-stream-topic-test-0,kafka-stream-topic-test-1,kafka-stream-topic-test-2,kafka-stream-......
  • Kafka
    Kafka环境搭建环境搭建篇(顺序->java-Zookeeper-kafka)基础概念核心概念-Broker-Kafka的服务端程序,可以认为一个mq节点就是一个broker-broker存储topic的......
  • Flask - 框架简介和第一个Flask应用程序
    一、前言菜鸡开始学习Flask框架了,参考:http://www.imooc.com/wiki/flasklesson/flaskintro.htmlPython比较主流的框架有:Flask,Django,FastApi,之前有简单了解过Djang......
  • 音视频流简介
    1.推流和拉流推流:指的是把采集阶段封包好的内容传输到服务器的过程。其实就是将现场的视频信号传到网络的过程。拉流:拉流是指服务器已有直播内容,根据协议类型(如RTMP、RTP......
  • Mac安装单机版kafka
    下载官网解压启动启动kafka前需要先启动zookeeper,这里使用默认配置,直接启动Kafka自带的zookeepercd到Kafka目录启动内置的zookeeper:./bin/zookeeper-server-s......
  • 关于光纤耦合的3种常见方式简介
    光纤由于其独特的优势广泛应用于各种传输系统中。而在光纤传输系统的高传输效率包括光纤的传输效率和激光与光纤耦合的效率。随着光纤加工技术的逐渐成熟,光纤传输损耗已经大......
  • kafka使用教程
    kafka概述kafka架构基础名称producer向kafkabroker发消息的客户端consumer向kafkabroker取消息的客户端consumergroup组内每个消费者消费不同......
  • kafka在创建topic出现zookeeper is not a recognized option
    自己搭建个zookeeper和kafka记录一下错误.新版本的kafka,已经不需要依赖zookeeper来创建topic,新版的kafka创建topic指令为下:./kafka-topics.sh--create--bootstrap-ser......
  • Kafka快速上手(2017.9官方翻译)
    为了帮助国人更好了解、上手kafka,特意翻译、修改了个文档。官方Wiki: http://kafka.apache.org/quickstart ​​​​快速开始本教程假定您正在开始新鲜,并且没有现有......