首页 > 系统相关 >centos7安装Kafka

centos7安装Kafka

时间:2023-11-21 11:45:39浏览次数:40  
标签:properties 安装 zookeeper server kafka centos7 Kafka data 2.12

参考:https://blog.csdn.net/yang1393214887/article/details/123425715

1. 官网下载https://kafka.apache.org/downloads

https://dlcdn.apache.org/kafka/3.1.0/kafka_2.12-3.1.0.tgz

2. 上传到centos7 /data/kafka/目录,解压到此目录

pwd#当前文件位置

mv /home/sili/kafka_2.12-3.1.0.tgz /data/kafka
cd /data/kafka
tar -zxvf kafka_2.12-3.5.1.tgz

3. 配置kafka单节点

3.1 配置zookeeper单节点(kafka自带,不需要重新下载)
进入kafka安装目录:

cd /data/kafka/kafka_2.12-3.5.1/

创建zookeeper数据存放目录:

mkdir -p zookeeper/data

创建zookeeper日志存放目录:

mkdir -p zookeeper/logs

进入配置文件目录:

cd config/

备份原来的配置文件:

mv zookeeper.properties zookeeper.properties.bak20220830

重写配置文件:(路径根据自己情况改)

[root@xxxxpcV7-03 config]# pwd
/data/kafka/kafka_2.12-3.5.1/config
[root@xxxxpcV7-03 config]#vi zookeeper.properties 

添加:

tickTime=2000
dataDir=/data/kafka/kafka_2.12-3.5.1/zookeeper/data/
dataLogDir=/data/kafka/kafka_2.12-3.5.1/zookeeper/logs/
clientPort=2181

3.2 配置kafka单节点

进入kafka安装目录:

cd /data/kafka/kafka_2.12-3.5.1/

创建日志存放目录:

mkdir logs

进入配置文件目录:

cd config/

备份原来的配置文件:

mv server.properties server.properties.bak20220830

重新写配置文件(也可以在上一步用复制命令,再修改配置文件对应内容)

[root@xxxxpcV7-03 config]#vi zookeeper.properties 

添加:

broker.id=1
listeners=PLAINTEXT://节点IP:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/kafka_2.12-3.5.1/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=节点IP:2181
zookeeper.connection.timeout.ms=6000

上边配置的server.properties的内容基本都是原server.properties的默认配置,到自己安装时主要修改:

broker.id broker的id修改为任意自己想要的数值(和zookeeper中的id类似的)
listeners 监听址址;修改为kafka要监听的地址
num.partitions 修改每个topic的默认分区参数,默认是1,具体合适的取值需要根据服务器配置进程确定
log.dirs 日志文件存放目录(修改为自己要存放日志的目录)
zookeeper.connect zookeeper监听地址。修改为自己的zookeeper的监听地址,如果是集群所有地址全写上用逗号(半角)隔开即可

4、启动

kafka的bin目录:

cd /data/kafka/kafka_2.12-3.5.1/bin

启动zookeeper

"-daemon" 参数代表以守护进程的方式启动kafka server-dae

./zookeeper-server-start.sh -daemon ../config/zookeeper.properties

启动kafka

./kafka-server-start.sh -daemon ../config/server.properties
注意:如果启动后查不到进程,可以看JAVA_HOME是否配置
查看是否有进程:
jps

5、停止

./zookeeper-server-stop.sh #停止zookeeper
./kafka-server-stop.sh #停止kafka,centos7上可能关不了用kill -9直接杀掉

标签:properties,安装,zookeeper,server,kafka,centos7,Kafka,data,2.12
From: https://www.cnblogs.com/sili-future/p/17846268.html

相关文章

  • 在Windows上D盘上安装Docker
    Referencehttps://www.willh.cn/articles/2022/07/13/1657676401964.htmlDocker默认安装在C盘:"C:\ProgramFiles\Docker"文件夹下。本文将Docker安装在D:\ProgramFiles\Docker文件夹下1、用管理员身份打开Powershell窗口,然后运行如下命令:cmd/cmklink/j"C:\Progr......
  • strimzi operator 部署kafka集群
    环境说明本环境使用了单节点、临时存储集群的kafka-ephemeral-single配置。线上环境推荐kafka-persistent.yaml配置并修改storage配置为自动创建pv/pvc类型。配置清单说明1.kafka-ephemeral-single.yaml:非持久化存储,单节点集群;2.kafka-ephemeral.yaml:非持久化存储,多节点集群......
  • centos7.9 部署FastDFS+Nginx本地搭建文件服务器 高性能的文件服务器集群 同时实现在
    前言FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线......
  • centos7安装zookeeper-3.7.2版本
    1、文件下载本文档演示安装zookeeper-3.7.2版本。进入官网下载:https://downloads.apache.org/zookeeper/zookeeper-3.7.2/使用wget命令下载:surootmkdir/data/zookeepercd/data/zookeeperwgethttps://downloads.apache.org/zookeeper/zookeeper-3.7.2/apache-zookeeper-......
  • Linux环境下Python3.10安装
    事件缘起我在Linux服务器(CentOS7.8)安装Python3.10,并替换python软链接为python3之后,yum命令不可用。特此记录一下。完整安装步骤如下:Python3.10安装1.使用yum程序提前安装Python依赖。yuminstallwgetzlib-develbzip2-developenssl-develncurses-develsqlite-devel......
  • 【转】docker安装solr8.11.1
    一、简介solr是一个基于Lucene的Java搜索引擎服务器。同时对其进行了扩展,提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展并对查询性能进行了优化,并且提供了一个完善的功能管理界面,是一款非常优秀的全文搜索引擎。二、docker安装Solr8.11.11、安装镜像dockerpull......
  • luckysheet 的安装
    前言最近有需求,把el-table和vxe-table替换为luckysheet。据说这个可以实现和excel的互相复制粘贴,便于用户操作。官方文档中Luckysheet安装有两种方式:cdn引入:有可能不是最新的,需要指定版本号。本地引入。居然没有npm安装,也是很奇特。因此,我采取了本地引入的方......
  • Windows中安装nvm管理node版本
    1.将nodejs卸载,删除node相关文件  2.下载nvm并安装 https://nvm.uihtm.com/nvm1.1.7-setup.zip  nvm-v查看版本3.更换镜像源不然下载速度过慢找到nvm的安装路径找到settiings.txt在settiings.txt文件中新增如下内容node_mirror:https://npm.taobao.or......
  • 02-MySQL的安装与配置(Windows)
    MySQL数据库MySQL关是一种关系数据库管理系统,所使用的SQL语言是用于访问数据库的最常用的标准化语言,其特点为体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,在Web应用方面MySQL是最好的RDBMS(RelationalDatabaseManagementSystem:关系数据库管理系统)应用软件之......
  • STM32快速上手踩坑记录(keil5+CubeMX安装+实现SPI通信)
    硬件:ST-LINKv2+STM32F103C8T6+Kingst逻辑分析仪TM32F103C8T6引脚图STM32F103C8T6引脚图及引脚功能说明_stm32f103c8t6引脚图及功能_eewj的博客-CSDN博客安装keil5官网下载:KeilProductDownloads点击MDK-Arm下载即可,目前最新版本是5.38,公司信息什么的随便填一下,下载之后......