首页 > 其他分享 >kafka学习

kafka学习

时间:2022-12-03 20:33:15浏览次数:39  
标签:消费者 分区 partition kafka 学习 rebalance 节点

一.kafka的相关概念

kafka名词:broker(节点,消息的代理) topic(主题) partition(分区,物理上对应一个文件夹) producer(生产者) consumer(消费者)  consumergroup(消费者组) replica(副本--针对partition,保障分区高可用)

kafka是producer =>kafka <=consumer 好处是消费者可以根据自己的节奏进行消费

kafka判断节点存活的条件:1)zookeeper进行心跳检查 2)如果此节点为从节点,必须能同步主节点的写操作

kafka直接将消息发送到主节点上

kafka的优势:持久化日志 分布式 

kafka的存储目录:配置文件中的logs.dir

kafka的ack机制:0:生产者不会等待broker的ack(会丢数据) 1:只要有一个分区写成功,就成功 -1:需要等待集群中所有分区都写入成功

kafka消费者记录自己的偏移量,下次继续从这个偏移量消费

kafka保证了分区顺序性

kafka消费的时间复杂度为O(1)

rebalance的概念:消费者组里的消费者上线或者下线都会rebalance,rebalance期间消费停止

#####partition 的主从概念####

二.kafka的相关命令

 

标签:消费者,分区,partition,kafka,学习,rebalance,节点
From: https://www.cnblogs.com/ruxiaoqiang/p/16948669.html

相关文章

  • 第十四周学习总结
    #学期(如2022-2023-1)学号(如:20221426)《计算机基础与程序设计》第十四周学习总结##作业信息|这个作业属于哪个课程|<班级的链接>(如[2022-2023-1-计算机基础与程序设计](h......
  • linux批量运维工具ansible学习
    ansible学习centos7配置yum源mkdirbaklsmv*.repobak/wget-O/etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/repo/Centos-7.repoyumclea......
  • JSP-入门学习、案例-改造Cookie案例
    JSP-入门学习4.JSP的内置对象:在jsp页面中不需要获取和创建,可以直接使用的对象jsp一共有9个内置对象。今天学习3个:request......
  • Zookeeper学习-入门教程
    一、Zookeeper概念Zookeeper是ApacheHadoop项目下的一个子项目,是一个树形目录服务。Zookeeper翻译过来就是动物园管理员,他是用来管Hadoop(大象)、Hive(蜜蜂)、Pig(......
  • Docker搭建kafka
    环境安装docker安装yumupdateyuminstalldocker#启动systemctlstartdocker#加入开机启动systemctlenabledocker#检查是否启动dockerversion#测试一下dockerrun......
  • js-day05-学成在线学习
    现在做学成开发项目时,不需要像以前一样把所有的图片的都写出来,可以设置一个数组,数组里面全面放对象,然后通过循环来渲染,这样就不需要将所有的图片写出来,需要记住放document.......
  • 2022-2023-1 20221307《计算机基础和程序设计》第十四周学习总结
    这个作业属于那个班级 https://edu.cnblogs.com/campus/besti/2022-2023-1-CFAP作业要求 https://www.cnblogs.com/rocedu/p/9577842.html#WEEK14作业目标学习《C语言程......
  • radis简单学习笔记
    原来写接口只用了本机缓存cache来学习一下radis,用法应该跟cache一样吧,为了配套负载均衡的多服务器是多个服务器都可以读取缓存一、下载找了好长时间github有的时候能上......
  • 树状数组学习笔记
    树状数组学习笔记简介树状数组是一个可以在\(O(\logn)\)的时间复杂度内支持单点修改和查询前缀和的操作的数据结构。\(\text{lowbit}\)\(\text{lowbit}\)是指一个......
  • 关于学习方向
    最近一直在思考,该如何进行未来职业规划,是坚持在国央企主机厂干下去,还是跳槽干开发。在对主机厂的理解加深的过程中,逐渐发现新能源行业的架构系统,央企日需要控制人员流动,规......