首页 > 其他分享 >KAFKA学习之集群搭建

KAFKA学习之集群搭建

时间:2023-02-09 15:46:28浏览次数:42  
标签:bin opt module kafka sh 集群 HOME KAFKA 搭建

一、下载及安装

1.地址
https://www.apache.org/dyn/closer.cgi?path=/kafka/3.1.0/kafka_2.12-3.1.0.tgz
2.上传到linux解压: 
tar -zxvf kafka_2.12-3.1.0.tgz -C /opt/module/
3.进入kafka的配置目录:
cd config/
4.修改配置文件:
vi server.properties
注:beoker.id是kafka的唯一标识

log.dirs是kafka日志存储路径

zookeeper.connect改为集群,放到kafka目录下是为了便于管理

 

每台服务器除了broker.id不同,其他一致

二、配置jdk及kafka的环境变量

1.修改配置

#进入目录
cd /etc/profile.d/
#新建文件
vim my_env.sh
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk
export PATH=$PATH:$JAVA_HOME/bin

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
2.刷新配置
source /etc/profile
#是配置立即生效并检查jdk版本
java -version

3.在home目录下创建bin,在bin下创建kf.sh文件并修改权限
vim kf.sh
chmod 777 kf.sh 
#!/bin/bash

case $1 in
"start")
    for i in kafka-node1 kafka-node2 kafka-node3
    do
        echo "--- 启动 $i kafka ---"
        ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"
    done
;;
"stop")
    for i in kafka-node1 kafka-node2 kafka-node3
    do
        echo "--- 停止 $i kafka ---"
        ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh"
    done
;;
esac    
4.生成公钥私钥
#在要使用脚本的机器上执行
ssh-keygen -t rsa
#执行(即每台服务器都执行一次)
ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名或者ip
5.启动
./kf.sh start

 

未完待续。。

 

标签:bin,opt,module,kafka,sh,集群,HOME,KAFKA,搭建
From: https://www.cnblogs.com/walden-g/p/17105423.html

相关文章

  • zookeeper单机版和伪集群版的搭建
    一.单机版1,下载: wgethttp://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz2,解压: tar-zxvfzookeeper-3.4.10.tar.gz3,在 zookeep......
  • 直播app开发搭建,注册页面样式,全部代码
    直播app开发搭建,注册页面样式,全部代码<template><view><view>新用户注册</view><image:src="sanjiao"mode="widthFix"></image><!--<imagestyle="width:100vw;":src......
  • 搭建直播平台,uniapp滚动条置顶实现
    搭建直播平台,uniapp滚动条置顶实现实现代码: uni.pageScrollTo({  scrollTop:0,  duration:300});​以上就是搭建直播平台,uniapp滚动条置顶实现,更多内容欢......
  • beego环境搭建
    1.安装bee工具,beego框架的构建工具,安装后执行beeversion,查看是否安装成功goinstallgithub.com/beego/bee/v2@latest  2.在src下执行bee命令创建beego项目 c......
  • 0基础搭建基于OpenAI的ChatGPT钉钉聊天机器人
    前言:以下文章来源于我去年写的个人公众号。最近chatgpt又开始流行,顺便把原文内容发到博客园上遛一遛。注意事项和指引:注册openai账号,需要有梯子进行访问,最好是欧美国家的......
  • kafkaProducer发送数据分析
    在命令行执行:使用console_producer连接kafka服务,发送数据,利用wireshark抓包查看具体的发送过程   头3条是tcp协议的三次握手。握手成功后,第4条开始console_produc......
  • 云服务器搭建
        ​ 首先申请一个云服务器,连接放在下方 安装ubantu16.04系统之后,用xshell登录​编辑 启动nginxservicenginxstart用命令vi/etc/nginx/nginx.con......
  • 如何在k8s集群中,删除所有命名空间中的Evicted(被驱逐)的pod?
    通过如下的命令删除k8s集群中,所有命名空间中的所有被驱逐的pod kubectlgetpods-A|awk'/Evicted/{print$1,$2}'\|xargs-r-n2kubectldeletepod-n ......
  • kafka-消息中间键(springboot集成)
    特性追求高吞吐量,适合产生大量数据的互联网服务的数据收集业务kafka入门1.导入依赖<dependencies><dependency><groupId>org.springframework.boot</gro......
  • 互联网医院开发|搭建互联网医院需要具备哪些资质
    很多的企业想搭建互联网医院平台,但是搭建互联网医院平台是需要资质的,这种移动医疗平台也不是随便就能开办的,毕竟也同属医疗行业,大家也都知道医疗行业的门槛也是比较高的......