Kafka
定义
Kafka是一个分布式的流处理平台，它具有以下特性：
- 磁盘保存数据
- 伸缩性
术语
生产者
生产者是消息的创造者，可以指定 Topic,Partion,Key,Value，并将消息发送到Kafka集群中的Broker。
消费者
消费者负责从Kafka集群中读取消息。
需要设置偏移量
一个分区里面，每个消息的偏移量都是唯一的
消费者只能顺序读取
分区(Partion)
Kafka中的每个Topic都可以保存到不同的Partion。
Kafka信息分区规则：
- 生产者指定分区
- 分区器（一个算法）通过消息的键（一个标记）来安排数据的存储空间
Broker
borker里面包含主题，分区。
borker为传来的消息根据分区设置偏移量，将其存储在磁盘上，borker也为消费者提供服务，提供响应。
多个Borker集群就是kafka集群，这样就提供了消息的安全性。在这个集群中可能还会有一个集群负责控制器的角色。
话题Topic
用于指定信息存储的位置，一个话题可以有多个分区，一个分区可以有多个副本。
Kafka如何保证数据不丢失
- 不丢失
-
生产者的ack应答机制，设为-1，当所有irs集合里的节点备份完成后返回
-
kafka，每个分区至少有一个isr节点存活，保证数据安全
-
消费者，关闭自动提交，使用手动提交