1.Replica(副本):在 Kafka 中,每个分区都有多个副本,用于提供数据的冗余备份和高可用性。副本可以分为两种类型:领导者副本(leader replica)和追随者副本(follower replica)。
领导者副本:每个分区都有一个领导者副本,它负责处理与客户端的所有读写请求,是分区的主要副本。
追随者副本:领导者副本的备份,它们与领导者副本保持同步,用于提供数据的冗余备份和故障转移。
2.HighWatermark(高水位标记):在 Kafka 中,高水位标记是指分区中已被提交的最高偏移量。它表示消费者组在该分区中的消费进度。高水位标记是每个副本维护的,用于确定追随者副本是否已经与领导者副本保持同步。
对于领导者副本,高水位标记表示已经被成功写入到分区的消息的最高偏移量。
对于追随者副本,高水位标记表示已经被成功复制到该副本的消息的最高偏移量。
HighWatermark 的存在是为了确保数据的一致性和可靠性。消费者从分区的高水位标记处开始读取消息,以确保消费者组获取到的消息是已经被提交的,避免重复消费和数据丢失的情况。
3.复制因子(replicationFactor)
根据你提供的日志信息,这里出现了一个 InvalidReplicationFactorException 异常,错误消息显示复制因子(replicationFactor)为 1,但可用的 broker 数量为 0,导致无法创建主题 "ecch-event-topic"。
这个异常的意思是指定的复制因子大于可用的 broker 数量,而复制因子决定了每个分区的副本数量。在这种情况下,复制因子为 1,意味着每个分区只能有一个副本。然而,错误消息中提到可用的 broker 数量为 0,表示当前 Kafka 集群中没有可用的 broker。
要解决这个问题,你需要确保 Kafka 集群中至少有一个可用的 broker。可以检查 Kafka 集群的配置和状态,确保所有的 broker 都正常启动并加入到集群中。如果有任何故障或配置错误导致所有的 broker 都无法正常工作,你需要修复问题,使得至少有一个 broker 可用。一旦确保有可用的 broker,你可以尝试重新创建主题 "ecch-event-topic",并指定正确的复制因子和其他的配置参数。
4.
在消息系统如 Kafka 中,"checkpoint" 通常用于记录消费者的偏移量,以便在消费者故障或重新平衡时能够从记录的偏移量处继续消费消息,避免消息丢失和重复消费。
标签:副本,分区,领导者,broker,偏移量,Kafka,名词解释,kafka From: https://www.cnblogs.com/zqlmianshi/p/18184791