首页 > 系统相关 >centos7安装kafka

centos7安装kafka

时间:2022-08-30 23:45:33浏览次数:47  
标签:config zookeeper server centos7 2.12 kafka 安装 properties

参考:https://blog.csdn.net/yang1393214887/article/details/123425715

1. 官网下载https://kafka.apache.org/downloads

 

 


https://dlcdn.apache.org/kafka/3.1.0/kafka_2.12-3.1.0.tgz

 

2. 上传到centos7 /usr/目录,解压到此目录
tar -zxvf kafka_2.12-3.2.1.tgz 
4. 配置kafka单节点
4.1 配置zookeeper单节点(kafka自带,不需要重新下载)
进入kafka安装目录:cd /usr/kafka_2.12-3.2.1/

创建zookeeper数据存放目录:mkdir -p zookeeper/data

创建zookeeper日志存放目录:mkdir -p zookeeper/logs

进入配置文件目录:cd config/

备份原来的配置文件:mv zookeeper.properties zookeeper.properties.bak20220830

重写配置文件:(路径根据自己情况改)

[root@xxxxpcV7-03 config]# pwd
/usr/kafka_2.12-3.2.1/config
[root@xxxxpcV7-03 config]#vi zookeeper.properties 

添加:

tickTime=2000
dataDir=/usr/kafka_2.12-3.2.1/zookeeper/data/
dataLogDir=/usr/kafka_2.12-3.2.1/zookeeper/logs/
clientPort=2181

4.2 配置kafka单节点
进入kafka安装目录:cd /usr/kafka_2.12-3.2.1/

创建日志存放目录:mkdir logs

进入配置文件目录:cd config/

备份原来的配置文件:mv server.properties server.properties.bak20220830

重新写配置文件(也可以在上一步用复制命令,再修改配置文件对应内容)

[root@xxxxpcV7-03 config]#vi zookeeper.properties 

添加:

broker.id=1
listeners=PLAINTEXT://192.168.78.203:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/usr/kafka_2.12-3.2.1/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.78.203:2181
zookeeper.connection.timeout.ms=6000

 

上边配置的server.properties的内容基本都是原server.properties的默认配置,到自己安装时主要修改:

broker.id broker的id修改为任意自己想要的数值(和zookeeper中的id类似的)

listeners 监听址址;修改为kafka要监听的地址

num.partitions 修改每个topic的默认分区参数,默认是1,具体合适的取值需要根据服务器配置进程确定

log.dirs 日志文件存放目录(修改为自己要存放日志的目录)

zookeeper.connect zookeeper监听地址。修改为自己的zookeeper的监听地址,如果是集群所有地址全写上用逗号(半角)隔开即可

5、启动

kafka的bin目录:

"-daemon" 参数代表以守护进程的方式启动kafka server-dae
./zookeeper-server-start.sh -daemon ../config/zookeeper.properties #启动zookeeper
./kafka-server-start.sh -daemon ../config/server.properties #启动kafka
注意:如果启动后查不到进程,可以看JAVA_HOME是否配置

查看是否有进程:

jps
6、停止

./zookeeper-server-stop.sh #停止zookeeper
./kafka-server-stop.sh #停止kafka,centos7上可能关不了用kill -9直接杀掉

 

标签:config,zookeeper,server,centos7,2.12,kafka,安装,properties
From: https://www.cnblogs.com/qsds/p/16641388.html

相关文章

  • CentOS7安装JDK1.8
    参考:https://blog.csdn.net/weixin_44829804/article/details/125389100      https://blog.csdn.net/dgfdhgghd/article/details/123207017      h......
  • Idea热部署插件JRebel的安装与使用
    1、背景一般更新了Java文件后要手动重启整个项目,才能生效,这很影响开发速度,于是热部署就出现了。热部署就是正在运行状态的应用,修改了他的源码之后,在不重新启动的情况下......
  • IDEA的安装
    IDEA的安装官网:https://www.jetbrains.com/idea/我下载的是2022.2.1版本的链接:https://pan.baidu.com/s/1H0Oj3GVpRXfwVxZSpuFAiw提取码:dei0下载完成后双击exe然后......
  • civil3d安装教程2022序列号和密钥
     Civil3D2021WIN1064位安装步骤:1.先使用“百度网盘客户端”下载C3D21_CN_x64软件安装包到电脑磁盘里,并右击进行解压,安装前先断网,然后找到Autodesk_Civil_3D_2021_Chin......
  • 在VMware上安装Windows10系统
    1.新建虚拟机 2.选择安装(典型安装) 3.选择稍后安装操作系统 4.选择要安装的系统类型及系统版本(windows10) 5.选择虚拟机文件的位置  6.调整硬盘大小......
  • Centos7 离线升级SSH9.0
    前两天也是看到园里大佬的在线升级SSH的脚本,所以利用晚上的时候把离线包下载下来,做成可离线升级的包。百度网盘地址:链接:https://pan.baidu.com/s/15oW9K-hQ8ZITIbYKJ4TVD......
  • Day02__安装JDK
    卸载JDK删除java的安装目录删除JAVA_HOWE删除path下关于java的目录测试java-version命令安装JDK官网下载JDK8安装并记住路径配置环境变量我的电脑-->右键-->......
  • yarn,npm安装依赖踩坑
    1、当删除lock文件后npminstall报依赖错误,运行npminstall--legacy-peer-deps2、install时node-sass报错,node-sass:Commandfailednodenode-sasssass-loader是完......
  • linux-常用的软件安装方式
    yum命令yum命令是在Fedora和RedHat以及SUSE中基于rpm的软件包管理器,它可以使系统管理人员交互和自动化地更细与管理RPM软件包,能够从指定的服务器自动下载RPM包并且安装,可......
  • Linux系统应用实验一:Linux系统安装与桌面环境使用
    说明:本文结尾提供了本文所有资料下载的链接供读者下载!实验指导书:实验报告:简要的说明和概述一下centos7系统根目录下各个文件目录:bin目录:bin是Bin......