首页 > 其他分享 >Kafka 3.6.1 Kraft模式 集群安装与部署

Kafka 3.6.1 Kraft模式 集群安装与部署

时间:2024-02-22 14:13:22浏览次数:34  
标签:broker 192.168 kafka 3.6 集群 usr Kraft Kafka

1.集群规划

hadoop02(192.168.58.130) hadoop03(192.168.58.131) hadoop04(192.168.58.132)
kafka kafka kafka

2.集群部署

1.下载kafka二进制包

https://kafka.apache.org/downloads

2.解压

mkdir /usr/kafka
tar -zxvf /home/kafka_2.13-3.6.1.tgz -C /usr/kafka/

3.修改配置文件(以192.168.58.130上节点的配置为例)

cd /usr/kafka/kafka_2.13-3.6.1/config/kraft
vi server.properties

注:Kraft模式的配置文件在config目录的kraft子目录下

4.在其他节点上修改配置文件

在 192.168.58.131 和 192.168.58.132 上修改配置文件server.properties中的 broker.id
注:broker.id 不得重复,整个集群中唯一。

# broker 的全局唯一编号,不能重复,只能是数字。
broker.id=1
# broker 的全局唯一编号,不能重复,只能是数字。
broker.id=2

5.配置环境变量

在/etc/profile.d中配置

1.新建kafka.sh

vi /etc/profile.d/kafka.sh
# KAFKA_HOME
export KAFKA_HOME=/usr/kafka/kafka_2.13-3.6.1
export PATH=$PATH:$KAFKA_HOME/bin

2.授予文件执行权限

chmod u+x /etc/profile.d/kafka.sh

3.刷新环境变量

source /etc/profile

6.启动集群

1.在节点上依次启动 Kafka

2.kafka一键启停脚本

1.创建脚本
vi /usr/bin/kafka
2.添加执行权限
chmod +x /usr/bin/kafka
3.使用
kafka start/stop

8.关闭集群

/usr/kafka/kafka_2.13-3.6.1/bin/kafka-server-stop.sh

标签:broker,192.168,kafka,3.6,集群,usr,Kraft,Kafka
From: https://www.cnblogs.com/fanqisoft/p/18027195

相关文章

  • Spring Kafka AckMode介绍
     原文链接:https://blog.csdn.net/qq1309664161/article/details/116994341一:AckMode介绍kafka消费端在读取数据后,会向Kafka服务端提交偏移量,来记录消费端读取数据的位置。提交偏移量分为手动提交和自动提交,为了保证数据读取的安全性,我们一般设置成手动提交偏移量。在Springb......
  • Kafka监控系统Kafka Eagle
    kafka集群部署完成后需要有一个可视化web页面,便于实时查看和观测kafka集群状态,kafka本身并没有提供可视化页面,但市面上有很多开源的可视化工具,我们以其中的KafkaEagle为例,在安装KafkaEagle之前,至少需要安装JDK、kafka、zookeeper的环境后,再进行后续操作。本文的前置条件:Kafka......
  • Kafka-批量启动和停止Kafka节点脚本
    1、编辑脚本#!/bin/bashzookeeper_home=/usr/local/zookeeperkafka_home=/usr/local/kafkazookeeper_array=(hadoop01hadoop02hadoop03)kafka_array=(hadoop01hadoop02hadoop03)##启动和停止Zookeeperfunctionzookeeper_operate(){zookeeper_operate=$@......
  • kafka消费组和分区关系详解
    原文链接:https://blog.csdn.net/weixin_42324471/article/details/121985212消费组概念:ConsumerGroup是Kafka提供的可扩展且有容错性的消费者机制。一个组里面有多个消费者实例,这些消费者共享一个ID,称为GroupID。组内的所有消费者协调在一起来消费订阅主题(SubscribedTopics......
  • 美团面试:Kafka如何处理百万级消息队列?
    美团面试:Kafka如何处理百万级消息队列?在今天的大数据时代,处理海量数据已成为各行各业的标配。特别是在消息队列领域,ApacheKafka作为一个分布式流处理平台,因其高吞吐量、可扩展性、容错性以及低延迟的特性而广受欢迎。但当面对真正的百万级甚至更高量级的消息处理时,如何有效地利......
  • Kafka
    Kafka架构图:相关概念如下:Producer:Producer即生产者,消息的产生者,是消息的入口。kafkacluster:Broker:Broker是kafka实例,每个服务器上有一个或多个kafka的实例,我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号,如图中的broker-0、broker-1等…......
  • Ubuntu 安装 Python3.6.7
    注意:不要卸载ubuntu自带的python版本;ubuntu下不同版本的python可以共存,可直接安装python3.6。1.升级包索引和软件sudoaptupdatesudoaptupgrade-y2.安装编译所需包sudoaptinstallbuild-essentialzlib1g-devlibbz2-devlibncurses5-devlibgdbm-devlibns......
  • python pyKafka
    1importjson2importtraceback3fromdatetimeimportdatetime4importtime5frompykafkaimportKafkaClient6fromutilsimport*78#生成报文信息:process_message_event报文9defcreate_data():10data={11"mess......
  • Kafka 消费者
    1.Kafka消费方式pull(拉)模式:consumer采用从broker中主动拉取数据。Kafka采用这种方式。push(推)模式:Kafka没有采用这种方式,因为由broker决定消息发送速率,很难适应所有消费者的消费速率。例如推送的速度是50m/s,Consumer1、Consumer2就来不及处理消息。pull模式不足之处是,如果......
  • Kafka King 推荐一款漂亮、现代、实用的kafka客户端
    KafkaKing一个漂亮、现代、实用的kafka客户端,使用pythonflet、flutter构建。Github主页:https://github.com/Bronya0/Kafka-King下载:https://github.com/Bronya0/Kafka-King/releases功能清单查看集群节点列表创建主题(支持批量)、删除主题、支持根据消费者组统计每个topic......