目录
今天给大家分享的是Kafka分布式集群部署，上次分享的单机版的kafka用于个人测试环境的话还好，但是生产环境就不建议了，生产环境还是建议部署分布式集群。
资源列表
| 操作系统 | 配置 | 主机名 | IP |
| CentOS7.9.2009 | 2C4G | kafka01 | 192.168.207.131 |
| CentOS7.9.2009 | 2C4G | kafka02 | 192.168.207.165 |
| CentOS7.9.2009 | 2C4G | kafka03 | 192.168.207.166 |
基础环境
修改主机名
hostnamectl set-hostname kafka01
hostnamectl set-hostname kafka02
hostnamectl set-hostname kafka03关闭防火墙
systemctl stop firewalld
systemctl disable firewalld关闭selinux
setenforce 0
sed -i "s/.*SELINUX=.*/SELINUX=disabled/g" /etc/selinux/config安装JAVA
部署Kafka环境是需要JAVA环境的，所以我们先安装JAVA
yum -y install java-1.8.0-openjdk安装Kafka
下载Kafka
https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
解压
tar -xzf kafka_2.11-1.0.0.tgz
cd kafka_2.11-1.0.0修改配置文件
kafka01
[root@kafka01 kafka_2.13-3.7.0]# vi config/server.properties
# 修改大约第24行左右，每个节点的这个id都不一样
broker.id=1
# 修改大约第34行左右，取消注释修改为自己的IP
listeners=PLAINTEXT://192.168.207.131:9092
# 修改大约第125行左右，写自己的zk集群地址，zk一般都是和kafka同节点，所以直接修改为3个节点的IP
zookeeper.connect=192.168.207.131:2181,192.168.207.165:2181,192.168.207.166:2181kafka02
[root@kafka02 kafka_2.13-3.7.0]# vi config/server.properties
# 修改大约第24行左右，每个节点的这个id都不一样
broker.id=2
# 修改大约第34行左右，取消注释修改为自己的IP
listeners=PLAINTEXT://192.168.207.165:9092
# 修改大约第125行左右，写自己的zk集群地址，zk一般都是和kafka同节点，所以直接修改为3个节点的IP
zookeeper.connect=192.168.207.131:2181,192.168.207.165:2181,192.168.207.166:2181kafka03
[root@kafka03 kafka_2.13-3.7.0]# vi config/server.properties
# 修改大约第24行左右，每个节点的这个id都不一样
broker.id=3
# 修改大约第34行左右，取消注释修改为自己的IP
listeners=PLAINTEXT://192.168.207.166:9092
# 修改大约第125行左右，写自己的zk集群地址，zk一般都是和kafka同节点，所以直接修改为3个节点的IP
zookeeper.connect=192.168.207.131:2181,192.168.207.165:2181,192.168.207.166:2181启动服务
启动ZK
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties启动Kafka
bin/kafka-server-start.sh -daemon config/server.properties验证测试
创建topic
让我们创建一个名为“test”的topic，它有一个分区和一个副本：
# --replication-factor指定副本数
# --partitions指定分区数
bin/kafka-topics.sh --create --bootstrap-server 192.168.207.131:9092 --replication-factor 1 --partitions 1 --topic test查看topic
现在我们可以运行list（列表）命令来查看这个topic
bin/kafka-topics.sh --list --bootstrap-server 192.168.207.131:9092