基于虚拟化的混合云集群——kafka集群环境构建工作

摘要

本章将详细的介绍kafka集群环境的构建和kafka的相关问题介绍。

下载kafka的安装包

官网下载地址：Apache Kafka

这个下载很重要，可能会遇到：1）错误: 找不到或无法加载主类 kafka.Kafka

配置kafka的环境

在kafa的解压包中建立kafka的日志的文件夹

log 的位置：/home/xjl/software/kafka2.0.0/kafkalogs

修改配置文件 server.properties

broker.id=1
listeners=PLAINTEXT://10.84.111.51:9092
zookeeper.connect=10.84.111.51:2181,10.84.111.154:2181,10.84.111.214:2181

broker.id=2
listeners=PLAINTEXT://10.84.111.154:9092
zookeeper.connect=10.84.111.51:2181,10.84.111.154:2181,10.84.111.214:2181

broker.id=3
listeners=PLAINTEXT://10.84.111.214:9092
zookeeper.connect=10.84.111.51:2181,10.84.111.154:2181,10.84.111.214:2181

第一个 broker.id 后面的值和搭建 zookeeper 集群中 myid 一样，是一个集群中唯一的数，要求是正数。需要保证kafka集群中设置的都不一样。

第二个设置监听器，后面的 IP 地址对应当前的 ip 地址。

第三个是配置 zookeeper 集群的 IP 地址。

启动kafka的

/usr/local/software/kafka_2.12-2.0.0/bin/kafka-server-start.sh /usr/local/software/kafka_2.12-2.0.0/config/server.properties &

　该命令虽然是后台启动服务，但是日志仍然会打印到控制台。

想要完全后台启动，执行如下命令：

/usr/local/software/kafka_2.12-2.0.0/bin/kafka-server-start.sh /usr/local/software/kafka_2.12-2.0.0/config/server.properties 1>/dev/null 2>&1 &

其中1>/dev/null  2>&1 是将命令产生的输入和错误都输入到空设备，也就是不输出的意思。/dev/null代表空设备。

执行完毕后，输入 jps ，出现 kafka 的进程，则证明启动成功。

Kafka集群的可视化界面

为了更好的看到上一步创建的 topic，以及发送的消息。这里介绍一个 kafka 可视化工具——Kafka Tools，官网下载地址：Offset Explorer

安装过程很简单，都是点击下一步即可。然后打开该工具，进行如下配置：

 参考博文：

Kafka 详解（二）------集群搭建 - YSOcean