首页 > 系统相关 >Linux部署kafka集群

Linux部署kafka集群

时间：2022-11-25 15:11:45浏览次数：40  
标签：-- zookeeper kafka topic 集群 Linux 服务器 data

Linux部署kafka集群（亲测有效）

原创 陈肖萧晓 若愚Linux 2022-11-23 08:00 发表于山东 收录于合集 #linux7个 #kafka1个 #集群1个

Linux部署kafka（亲测有效）

网上有太多太多抄来抄去的教程，要不就是少各种环境的说明，要不就是各种配置根本就是错误的，要不就是只说一部分，要不就是防火墙网络环境不说，导致很多同学按照各大博客网站的教程，根本搭建不起来kafka集群。

我自己按照网上的教程几乎没有成功过，都是遇到问题各种搜索，很多教程都没有java、zookeeper、防火墙等设置。

现在我把亲自在服务器上搭建的全部过程写成文章供大家参考。

环境准备

操作系统版本：centos 7.9.2009

服务器列表：（需修改为自己的ip地址）

  • • 192.168.229.227 server01

  • • 192.168.229.228 server02

  • • 192.168.229.229 server02

java安装包：jdk-8u351-linux-x64.tar.gz

zooker安装包：zookeeper-3.4.10.tar.gz

kafka安装包：kafka_2.11-0.11.0.1.tgz

#安装包存放目录
mkdir /root/software

#zookeeper、kafka数据存放目录
mkdir -p /data/zookeeper/{data,logs}
mkdir -p /data/kafka/data

#软件安装目录为
/opt

#/etc/hosts添加主机信息
vim /etc/hosts

192.168.229.227 server01
192.168.229.228 server02
192.168.229.229 server02

#验证主机信息是否添加成功
ping server01
ping server02
ping server03

图片

一、软件下载

关注公众号若愚Linux回复：kafka集群进行下载

将下载好的软件放到/root/software下

二、安装java环境（所有服务器）

cd /root/software
#解压java压缩包
tar -zxvf jdk-8u351-linux-x64.tar.gz -C /opt
mv /opt/jdk1.8.0_351 /opt/jdk1.8

#配置环境变量
vim /etc/profile

#在文件尾部追加以下内容
export JAVA_HOME=/opt/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#让环境变量生效
source /etc/profile

#检查是否安装成功
java -version

图片

三、部署zookeeper集群（所有服务器）

1、安装zookeeper

cd /root/software

#解压zookeeper压缩包
tar -zxvf zookeeper-3.4.10.tar.gz -C /opt
mv /opt/zookeeper-3.4.10 /opt/zookeeper

#配置环境变量
vim /etc/profile

#在文件尾部追加以下内容
export ZOOKEEPER_HOME=/opt/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

#让环境变量生效
source /etc/profile

2、配置zookeeper配置文件

#拷贝zookeeper配置文件
cd /opt/zookeeper/conf
cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/data
clientPort=2181
maxClientCnxns=60
dataLogDir=/data/zookeeper/logs
server.1=server01:2888:3888
server.2=server02:2888:3888
server.3=server03:2888:3888

3、开启防火墙端口

firewall-cmd --add-port=2181/tcp --permanent
firewall-cmd --add-port=2888/tcp --permanent
firewall-cmd --add-port=3888/tcp --permanent
firewall-cmd --reload

4、节点创建myid文件，节点对应id

#设置myid文件是为了和zoo.cfg文件中的server.1、server.2、server.3对应

#server01服务器
cd /data/zookeeper/data
echo "1" > myid

#server02服务器
cd /data/zookeeper/data
echo "2" > myid

#server03服务器
cd /data/zookeeper/data
echo "3" > myid

5、启动zookeeper集群

#启动zookeeper集群
zkServer.sh start

#查看是否启动成功
netstat -tnlp|grep 2181

图片

四、安装kafka集群（所有服务器）

1、安装kafka集群

cd /root/software

#解压kafka压缩包
tar -zxvf kafka_2.11-0.11.0.1.tgz -C /opt
mv /opt/kafka_2.11-0.11.0.1 /opt/kafka

#配置环境变量
vim /etc/profile

#在文件尾部追加以下内容
export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin

#让环境变量生效
source /etc/profile

2、修改配置文件（每台服务器分别配置）

集群服务器中的配置文件只有broker.id=编号这一行不同

为了防止有的同学忘记修改、忘记修改、忘记修改，这里把三台服务器的配置文件都写出来了。

server01服务器

#broker 的全局唯一编号，不能重复
broker.id=0
#开启删除 topic 功能
delete.topic.enable=true
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
#kafka 运行日志存放的路径（实际是kafka的topic数据）
log.dirs=/data/kafka/data
#topic 在当前 broker 上的分区个数
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
#配置连接 Zookeeper 集群地址
zookeeper.connect=server01:2181,server02:2181,server03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

server02服务器

#broker 的全局唯一编号，不能重复
broker.id=1
#开启删除 topic 功能
delete.topic.enable=true
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
#kafka 运行日志存放的路径（实际是kafka的topic数据）
log.dirs=/data/kafka/data
#topic 在当前 broker 上的分区个数
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
#配置连接 Zookeeper 集群地址
zookeeper.connect=server01:2181,server02:2181,server03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

server03服务器

#broker 的全局唯一编号，不能重复
broker.id=2
#开启删除 topic 功能
delete.topic.enable=true
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
#kafka 运行日志存放的路径（实际是kafka的topic数据）
log.dirs=/data/kafka/data
#topic 在当前 broker 上的分区个数
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
#配置连接 Zookeeper 集群地址
zookeeper.connect=server01:2181,server02:2181,server03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

3、开启防火墙端口

firewall-cmd --add-port=9092/tcp --permanent
firewall-cmd --reload

4、启动集群

依次在 server01、server02、server03 节点上启动 kafka

cd /opt/kafka
kafka-server-start.sh -daemon config/server.properties

netstat -tnlp|grep 9092

 

5、关闭集群

kafka-server-stop

五、kafka命令行操作

1、创建topic

选项说明： 

--topic 定义 topic 名 

--replication-factor 定义副本数 

--partitions 定义分区数，一般有几台服务器写几，比如有3台服务器就写3

kafka-topics.sh  --zookeeper server01:2181 --create --replication-factor 2 --partitions 3 --topic test

2、查看当前服务器中的所有 topic

kafka-topics.sh --zookeeper server01:2181 --list

图片

3、删除 topic

kafka-topics.sh  --zookeeper server01:2181 --delete  --topic test

4、发送消息

kafka-console-producer.sh --broker-list server01:9092 --topic test

图片

5、消费消息

kafka-console-consumer.sh --zookeeper server01:2181 --topic test

图片

标签：--,zookeeper,kafka,topic,集群,Linux,服务器,data
From： https://www.cnblogs.com/cherishthepresent/p/16925223.html

相关文章

  • Linux基础-Vim(二)常用功能
    一、可视区块(Visual Block)       上一期我们讲vim操作都是以字符或行为单位进行的，在vim还有一个以区块为单位进行操作的方法，即可视区块操作。       下面......
  • Linux基础-Vim(一)入门和常用命令
    ps：这是本公众号第一篇推文，小白第一次写作，希望大家支持，如有错误，望批评指正。在所有的UNIX-Like系统中都会内建vi文本编辑器，vi是老式的文本编辑器，其他的文本编辑器则不一定会......
  • linux网络命令
    1.env——查看环境变量资源可以查看到当前用户环境配置  2.ifconfig可以查看网卡数量，IP地址、mac地址 3. ps-ef查看所有进程  4.ss-t-a显示所有tcp......
  • linux 安装 安全狗 步骤
    先下载安装包wgethttp://download.safedog.cn/safedog_linux64.tar.gz1234567<emid="__mceDel">ls tarxzvfsafedog_linux64.tar.gzls cdsa......
  • 面试官问：为什么kafka这么快，又能保证消息不丢失？
    小菜鸡最近在疯狂面试中，就是为了能拿到一份满意的offer，这不上周又去头条受虐了。面试过程中，由于小菜鸡的充分准备（letcode各种刷），各种算法题不在话下，顺利的通过的头条变态的算......
  • Kafka是什么-第一篇
    前言如果有幸目睹过系统从零到一的演变过程，大家估计都会有一种感叹，就是随着业务复杂度和流量的不断上升，系统变得越来越难以维护，面对高额的维护成本，攻城师们不得不对现有架构......
  • 使用Xenon实现MySQL高可用集群
    使用Xenon实现MySQL高可用集群1、Xenon介绍 https://github.com/radondb/xenon#VIP就是对外提供服务的IP，比如jdbc配置就是写这个VIPxenon架构介绍 ，每个MySQL节点安装......
  • linux命令 find
    find是Linux中强大的搜索命令，不仅可以按照文件名搜索文件，还可以按照权限、大小、时间、inode号等来搜索文件。但是find命令是直接在硬盘中进行搜索的，如果指定的搜索......
  • linux命令 grep
    Linuxgrep命令用于查找文件里符合条件的字符串。grep指令用于查找内容包含指定的范本样式的文件，如果发现某文件的内容符合所指定的范本样式，预设grep指令会把含有范......
  • Linux下centOS和redhat测试数据usleep_nanosleep_select
    系统不一样，gcc版本也不一样。其中centOS刚租任不久的没有甚么用户进程运行。redhat测试服务器有用户进程在后台运行//编译gcctest.c//运行./a.out#include<stdio.h>#inc......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99