Kafka 万字精讲｜工作五年这些你都知道吗？

• 前言
• 一、Kafka 简介
  • 1.1 事件流平台
  • 1.2 Kafka 主要概念和术语
  • 1.3 Zookeeper
• 二、Kafka 集群搭建和使用
  • 2.1 使用 Docker Compose 搭建 Kafka 集群
  • 2.2 Kafka 集群的使用
  • 2.3 offset 偏移量的提交
• 三、Kafka 高级
  • 3.1 生产者发送数据
    • 3.1.1 发送数据的6个步骤
    • 3.1.2 生产者分区选择策略
    • 3.1.3 消息同步 ISR
    • 3.1.4 ACK 参数配置
  • 3.2 数据一致性问题
    • 3.2.1 分区故障
    • 3.2.2 At Most Once
    • 3.2.3 At Least Once
    • 3.2.4 Exactly Once
  • 3.3 日志文件存储
    • 3.3.1 内存日志段与磁盘持久化日志
    • 3.3.2 磁盘日志文件结构
    • 3.3.3 快速定位数据
  • 3.4 消费者消费数据
    • 3.4.1 消费者概念回顾
    • 3.4.2 消费者 offset 信息存储
    • 3.4.3 消费消息不等于删除旧消息
• 四、参考文献
• 五、小结

前言

本文以 Kafka 官方文档 的内容为基石，结合参考文献处文章和笔者自身实践凝练而成，涵盖内容全面，详略得当。

这也是《一文搞懂》系列的第一篇技术长文，期待您的关注。

一、Kafka 简介

一个十分钟的视频带你了解 Kafka

Apache Kafka 是一个开源的分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

1.1 事件流平台

• 什么是事件流：

  1. 从技术上讲，事件流是以事件流的形式从数据库、传感器、移动设备、云服务和软件应用程序等事件源实时捕获数据的实践；持久存储这些事件流以供以后检索；实时和回顾性地操作、处理事件流并对其做出反应；并根据需要将事件流路由到不同的目标技术。

  2. 因此，事件流可确保数据的连续流动和解释，以便正确的信息在正确的时间出现在正确的地点。

• 事件流可以做什么：

  1. 实时处理支付和金融交易，例如在证券交易所、银行和保险中。
  2. 连接、存储并提供公司不同部门生成的数据。
  3. 作为数据平台、事件驱动架构和微服务的基础。
  4. 收集客户互动和订单并立即做出反应，等等。

• Apache Kafka 作为一个事件流平台有什么功能：

  1. 发布（写入）和订阅（读取）事件流，包括从其他系统持续导入/导出数据。
  2. 根据需要持久可靠地存储事件流。
  3. 在事件发生时或回顾性地处理事件流。
  标签：万字,消费者,精讲,Partition,Kafka,消息,kafka,Leader
  From： https://www.cnblogs.com/YLTFY1998/p/17957866