Kafka3.0

• 1. 什么是kafka？
• 2. kafka基础架构
• 3. kafka集群搭建
• 4. kafka命令行操作
  • kafka启停命令
  • 主题命令行【topic】
  • 生产者命令行【producer】
  • 消费者命令行【consumer】
• 5. kafka生产者
  • 生产者消息发送流程
    • Producer 发送原理
    • 普通的异步发送
    • 带回调函数的异步发送
    • 同步发送API
  • 生产者重要参数列表
  • 生产者分区
    • 生产者发送消息的分区策略
    • 案例一：指定分区发送消息
    • 案例二：自定义分区器
  • 生产者如何提高吞吐量
  • 数据可靠性【ACK】
    • ACK应答级别
    • ISR队列
    • 重复数据分析
    • 设置ACK操作案例
    • 数据传递的意义
    • 幂等性
    • kafka事务
    • 保证消息的有序性
• 6. kafka-broker
  • zookeeper存储的kafka信息
  • Kafka Broker总体工作流程
  • Leader选举流程
  • broker重要参数
  • 服役新节点和负载均衡
  • 退役旧节点和负载均衡
• 7. kafka-副本
  • kafka副本基本信息
  • Leader选举流程
  • Follower故障处理流程
  • Leader故障处理流程
  • 手动调整分区副本存储
  • 增加副本因子
  • kafka文件存储机制
  • kafka日志存储参数配置
  • 日志存储配置（删除/压缩）
  • kafka为啥可以高效读写数据
• 8. kafak消费者
  • 消费者总体工作流程
  • 消费者组的初始化流程
  • 消费者重要参数
  • 消费者API
    • 订阅主题
    • 订阅分区
    • 消费者组案例
  • 分区的分配以及再平衡
    • Range
    • RoundRobin（轮询）
    • Sticky（粘性）
  • offset偏移量
    • 自动提交 offset
    • 手动提交 offset
    • 指定 Offset 消费
    • 指定时间进行消费
    • 漏消费和重复消费
  • 消费者事务
  • 数据积压（消费者如何提高吞吐量）

1. 什么是kafka？

• Kafka传 统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
• Kafka最 新定义 ： Kafka是 一个开源的 分布式事件流平台 （Event StreamingPlatform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

在大数据场景主要采用 Kafka 作为消息队列。在 JavaEE 开发中主要采用 ActiveMQ、RabbitMQ、RocketMQ。

消息队列应用场景

• 缓冲/消峰：有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。
• 解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束
• 异步通信：允许用户把一个消息放入队列，但并不立即处理它，然后在需要的时候再去处理它们。

消息队列的两种模式（或者两种模型）

• 点对点模式：消费者主动拉取数据，消息收到后清除消息

• 发布/订阅模式：

  • 可以有多个topic主题（浏览、点赞、收藏、评论等）
  • 消费者消费数据之后，不删除数据
  • 每个消费者相互独立，都可以消费到数据

  ​

2. kafka基础架构

• Producer：消息生产者，就是向 Kafka broker 发消息的客户端。
• Consumer：消息消费者，向 Kafka broker 取消息的客户端。
• Consumer Group（CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。
• Broker：一台 Kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个broker 可以容纳多个 topic
• Topic：可以理解为一个队列，生产者和消费者面向的都是一个 topic。一个非常大的 topic 可以分布到多个 broker（即服务器）上，
• Partition：分区。一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列。
• Segment：partition 物理上由多个 segment 组成
• Offset：每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset,用于partition唯一标识一条消息.
• Replica：副本。一个 topic 的每个分区都有若干个副本，一个 Leader 和若干个Follower。
• Leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是 Leader。
• Follower：每个分区多个副本中的“从”，实时从 Leader 中同步数据，保持和 Leader 数据的同步。Leader 发生故障时，某个 Follower 会成为新的 Leader。

3. kafka集群搭建

1）安装环境准备

上传解压kafka安装包，以下仅演示一台服务器的操作，另外两台也许执行相同步骤

2）修改server.properties

进入到kafka目录，修改配置文件（vim server.properties），重点修改如下三个配置

• broker.id=0（broker 的全局唯一编号，不能重复，只能是数字）
• log.dirs=xx（运行日志(数据)存放的路径）
• zookeeper.connect=10.1.61.121:2181/kafka

#

标签：Kafka3.0,--,分区,kafka,topic,properties,first	

From： https://www.cnblogs.com/lihw/p/18083080