基本概念
名称 | 作用 |
---|---|
topic主题 | 一组消息,对消息的一个分类。生产者发送消息到特定主题,消费者订阅主题或者某些主题的分区进行消费 |
message消息 | kafka通信的基本单位 |
分区和副本 | 每个主题又被分成一个或多个分区( Partition ) 。每个分区由一系列有序、不可变的消息组成,是一个有序队列。每个分区又有一至多个副本( Replica ),分区的副本分布在集群的不同代理上,以提高可用性 |
leader副本follower副本 | 只有Leader 副本才负责处理客户端读/写请求, Follower 副本从Leader 副本同步数据 |
偏移量 | |
日志段 | 一个日志又被划分为多个日志段( LogSegment ),日志段是Kafka 日志对象分片的最小单位 |
代理 | |
生产者 | 生产者( Producer )负责将消息发送给代理,也就是向Kafka 代理发送消息的客户端。 |
消费者和消费者组 | 。同一个主题的一条消息只能被同一个消费组下某一个消费者消费,但不同消费组的消费者可同时消费该消息。广播和单播 |
ISR | |
zk | Kafka 利用ZooKeeper 保存相应元数据信息, Kafka 元数据信息包括如代理节点信息、Kafka集群信息、旧版消费者信息及其消费偏移量信息、主题信息、分区状态信息、分区副本分配方案信息、动态配置信息等。 |