首页 > 系统相关 >centos kafka 集群配置

centos kafka 集群配置

时间:2022-08-31 23:36:48浏览次数:61  
标签:centos zookeeper 192.168 kafka xxxxpcV7 集群 root 目录

参考:https://www.cnblogs.com/zhangzl419/p/15842606.html

【1】配置zookeeper

[root@xxxxpcV7-03 config]# pwd
/usr/kafka_2.12-3.2.1/config

[root@xxxxpcV7-03 config]vi zookeeper.properties

#设置连接参数,添加如下配置
#为zk的基本时间单元,毫秒
tickTime=2000
# the directory where the snapshot is stored.
dataDir=/usr/kafka_2.12-3.2.1/zookeeper/data/
#修改为自定义的zookeeper日志目录
dataLogDir=/usr/kafka_2.12-3.2.1/zookeeper/logs/
# the port at which the clients will connect
clientPort=2181
#Leader-Follower初始通信时限 tickTime*10
initLimit=10
#Leader-Follower同步通信时限 tickTime*5
syncLimit=5
#设置broker Id的服务地址
server.0=192.168.78.203:2888:3888
server.1=192.168.78.204:2888:3888
server.2=192.168.78.205:2888:3888

[2]配置kafka

kafka的配置文件是config/server.properties。

第一步,创建kafka数据日志目录。注意这里虽然叫日志目录,可不是真的kafka运行日志存放的目录,耳熟kafka中的消息数据存放的目录,因为kafka中消息是以write append log的形式存放的,所以这里的日志目录实际是数据目录,但是数据又的确是以日志的形式存放,所以就叫数据日志目录。

# 创建kafka的数据日志目录,命名为kfkwalog
mkdir -p /usr/local/kafka/kfkwalog  

第二步,写入配置项。
kafka的配置项很多,需要更改的配置项如下:

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
listeners=PLAINTEXT://192.168.78.203:9092
advertised.listeners=PLAINTEXT://192.168.78.203:9092
log.dirs=/usr/kafka_2.12-3.2.1/logs
zookeeper.connect=192.168.78.203:2181,192.168.78.204:2181,192.168.78.205:2181

经过以上步骤,一个kafka节点配置好了,然后将kafka安装目录打包,之后scp到另外两个节点,同时在138和139两个节点做对应的修改,主要包括:
(1)是创建zookeeper的数据目录zookeeper/data和日志目录zookeeper/log
(2)创建zookeeper数据目录下的myid文件,138下myid内容是1,138下myid的内容是2。这样以后,136的myid是0,138的myid是2,139的myid是2。
(3)创建kafka的数据日志目录kfkwalog
(4)修改kafka配置文件中的broker.id,136的broker.id是0,138的broker.id是1,139的broker.id是2
(5)修改kafka配置文件中的listeners和advertised.listeners,将其中的ip修改为对应的节点ip。
就完成了kafka集群和zookeeper集群的配置工作了。

【3】启动zookeeper和kafka

修改三台机器hosts文件,添加主机ip和名称

[root@xxxxpcV7-05 kafka_2.12-3.2.1]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.78.203 xxxxpcV7-03
192.168.78.204 xxxxpcV7-04
192.168.78.205 xxxxpcV7-05

三台机器依次启动zookeeper、kafka

[root@xxxxpcV7-04 kafka_2.12-3.2.1]# nohup sh -x bin/zookeeper-server-start.sh config/zookeeper.properties > logs/zookeeper.out &

[root@xxxxpcV7-05 kafka_2.12-3.2.1]# nohup sh -x bin/kafka-server-start.sh config/server.properties > logs/kafka.out &

[root@xxxxpcV7-03 kafka_2.12-3.2.1]# jps -l

4727 org.apache.zookeeper.server.quorum.QuorumPeerMain
5543 kafka.Kafka
5884 sun.tools.jps.Jps

【】测试

[root@xxxxpcV7-03 bin]# ./kafka-topics.sh --bootstrap-server 192.168.78.204:9092 --list

 

之后建myid文件

在zookeeper的数据目录/usr/local/zookeeper/data下,建一个文本文件myid,内容为每个zookeeper节点的编号。因为是3个节点kafka集群,所以zookeeper集群也是3个节点,他们的编号分别是0、1、2.

经过以上步骤,一个节点的zookeeper就配置完成了

【2】启动zookeeper

三个节点依次按如下命令启动。

[root@xxxxpcV7-03 bin]# nohup sh -x zookeeper-server-start.sh ../config/zookeeper.properties > nohup.out &
[1] 1110

验证是否启动

[root@kfkby ~]# jps -l
130374 sun.tools.jps.Jps
47439 org.apache.zookeeper.server.quorum.QuorumPeerMain #如果jps有这行输出,说明zookeeper已经正常启动起来了

 

 

 

 

标签:centos,zookeeper,192.168,kafka,xxxxpcV7,集群,root,目录
From: https://www.cnblogs.com/qsds/p/16644786.html

相关文章

  • kafka启动失败报错Uninitialized object exists on backward branch 193
    参考:https://www.dandelioncloud.cn/article/details/1511278739240636417[root@xxxxpcV7-03bin]#nohupsh-xkafka-server-start.sh../config/server.properties>.......
  • CentOS yum 段错误 (core dumped)解决方法
    CentOSyum段错误(coredumped)解决方法_RedHat/Centos_操作系统_脚本之家 https://www.jb51.net/os/RedHat/208481.html今天在yuminstall或者yumupdate的时候都提......
  • CentOS设置默认启动命令行(不启动图形界面)
    CentOS设置默认启动命令行(不启动图形界面)-java_zhao-博客园 https://www.cnblogs.com/java-xz/p/7351867.htmlCentOS中如何进入图形界面和文字界面,Linux真正的服......
  • [CentOS8]Repository extras is listed more than once in the configuration
    1.问题[root@localhost~]#yuminstallhttps://www.elrepo.org/elrepo-release-8.el8.elrepo.noarch.rpmRepositoryextrasislistedmorethanonceintheconfigu......
  • centos加固脚本
    #!/bin/bash#Author:#Date:2018-10-11#Function:对账户的密码的一些加固read-p"设置密码最多可多少天不修改:"Aread-p"设置密码修改之间最小的天数:"Bread-p"......
  • CentOS 下 docker POSIX改中文
    cannotchangelocale(zh_CN.UTF-8):NosuchfileordirectoryCentOS下docker容器默认字符集为POSIX如果需要默认情况下查看字符集如下,可修改POSIX为 zh_CN.UTF-8......
  • java实现kafka生产者消费者
    参考:https://blog.csdn.net/zhengzaifeidelushang/article/details/121984379深入浅出理解kafka原理系列之:java实现kafka消费者一、pom.xml引入kafka依赖二、kafka消费......
  • CentOS 7上装Tesseract-OCR最新版本(5.0)
    通过编译代码形式在服务器上安装Tesseract-OCR最新版了安装基本的CentOS依赖项yuminstallautoconfautomakelibtoolpkgconfig.x86_64libpng12-devel.x86_64libjpe......
  • 如何在VMware上安装Linux系统(CentOS 7)
    1.创建新的虚拟机 2.选择安装类型(推荐典型) 3.选择稍后安装操作系统 4.选择操作系统(linux)及版本(CentOS) 5.虚拟机的名称以及虚拟机的存储位置(建议不要有中......
  • Centos7.9离线安装ORACLE19C
    一、基础环境配置1、关闭系统防火墙systemctlstopfirewalldsystemctldisablefirewalld2、关闭selinuxvim/etc/selinux/configSELINUX=disabled3、准备安装......