首页 > 其他分享 >kafka核心流程

kafka核心流程

时间:2022-12-21 09:22:40浏览次数:48  
标签:核心 流程 主题 topics kafka 节点 Kafka id

启动

Kafka 自带了一个启动KafkaServer 的脚本kafka-server-start.sh

名称 作用
/consumers 旧版消费者启动后会在ZooK臼P町的该节点路径下创建一个消费组的节点。
/brokers/seq id 辅助生成代理的id,当用户没有配置broker.id 时, ZooKe叩er 会自动生成一个全局唯一的M,每次自动生成时会从该路由读取当前代理的id 最大值,然后加l
/brokers/topics 每创建一个主题时就会在该目录下创建一个与主题同名的节点
/brokers/ids 当Kafka 每启动一个KafkaServer 时会在该目录下创建一个名为${ broker.id}的子节点
/config, topics 存储动态修改主题级别的配置信息
/config/clients 存储动态修改客户端级别的配置信息
/config/changes 动态修改配置时存储相应的信息,
/admin/delete topics 在对主题进行删除操作时保存待删除主题的信息
/cluster/id 保存集群id 信息
/controller 保存控制器对应的brokerld 信息等
/isr change notification 保存Kafka 副本ISR 列表发生变化时通知的相应路径

创建主题

kafka-topics.sh 脚本

分区副本分配

生产者

kafka-conso le-producer. sh

消费者

标签:核心,流程,主题,topics,kafka,节点,Kafka,id
From: https://www.cnblogs.com/braveman1021/p/16995516.html

相关文章

  • kafka简介
    基本概念名称作用topic主题一组消息,对消息的一个分类。生产者发送消息到特定主题,消费者订阅主题或者某些主题的分区进行消费message消息kafka通信的基本单......
  • kafka增加partition
    kafka-stream-topic-testkafka-stream-test:partitionsassigned:[kafka-stream-topic-test-0,kafka-stream-topic-test-1,kafka-stream-topic-test-2,kafka-stream-......
  • Kafka
    Kafka环境搭建环境搭建篇(顺序->java-Zookeeper-kafka)基础概念核心概念-Broker-Kafka的服务端程序,可以认为一个mq节点就是一个broker-broker存储topic的......
  • iOS支付宝支付(Alipay)详细接入流程以及项目中遇到的问题分析
    iOS支付宝支付(Alipay)详细接入流程以及项目中遇到的问题分析         最近在项目中接入了微信支付和支付宝支付,总的来说没有那么坑,很多人都说文档不全什么的......
  • 《深圳市新移科技有限公司》自主研发出的三款《4G 核心板》——紫光展锐平台
        深圳市新移科技有限公司前阵子又新研发出了三款“4G核心板”,称呼型号分别是:《XY3104G核心板》、《XY6184G核心板》、《XY6104G核心板》这三款核心板都是......
  • Scrapy源码阅读分析_1_整体框架和流程介绍
     Scrapygithub下载地址:​​https://github.com/scrapy/scrapy​​  介绍 Scrapy是一个基于Python编写的一个开源爬虫框架,它可以帮你快速、简单的方式构建爬虫,并从网站......
  • django基本流程
    创建项目django-adminstartprojectwebcdwebpythonmanage.pystartappweblist生成迁移文件pythonmanage.pymakemigrations生成迁移数据pythonmanage.py......
  • Spring Vault的Vault 的概念和语义以及语法、核心功能
    SpringVault项目将Spring的核心概念应用于使用HashiCorpVault开发解决方案。我们提供了一个“模板”作为存储和查询文档的高级抽象。你会注意到与Spring框架中的REST......
  • Mac安装单机版kafka
    下载官网解压启动启动kafka前需要先启动zookeeper,这里使用默认配置,直接启动Kafka自带的zookeepercd到Kafka目录启动内置的zookeeper:./bin/zookeeper-server-s......
  • kafka使用教程
    kafka概述kafka架构基础名称producer向kafkabroker发消息的客户端consumer向kafkabroker取消息的客户端consumergroup组内每个消费者消费不同......