一.kafka的相关概念
kafka名词:broker(节点,消息的代理) topic(主题) partition(分区,物理上对应一个文件夹) producer(生产者) consumer(消费者) consumergroup(消费者组) replica(副本--针对partition,保障分区高可用)
kafka是producer =>kafka <=consumer 好处是消费者可以根据自己的节奏进行消费
kafka判断节点存活的条件:1)zookeeper进行心跳检查 2)如果此节点为从节点,必须能同步主节点的写操作
kafka直接将消息发送到主节点上
kafka的优势:持久化日志 分布式
kafka的存储目录:配置文件中的logs.dir
kafka的ack机制:0:生产者不会等待broker的ack(会丢数据) 1:只要有一个分区写成功,就成功 -1:需要等待集群中所有分区都写入成功
kafka消费者记录自己的偏移量,下次继续从这个偏移量消费
kafka保证了分区顺序性
kafka消费的时间复杂度为O(1)
rebalance的概念:消费者组里的消费者上线或者下线都会rebalance,rebalance期间消费停止
#####partition 的主从概念####
二.kafka的相关命令
标签:消费者,分区,partition,kafka,学习,rebalance,节点 From: https://www.cnblogs.com/ruxiaoqiang/p/16948669.html