4-kafka安装

上传Kafka压缩包

• 将kafka_2.12-3.6.1.tgz文件上传到三台虚拟机的/opt/software目录中

解压Kafka压缩包

• 进入/opt/software目录
  cd /opt/software
• 解压缩文件到指定目录
  tar -zxvf kafka_2.12-3.6.1.tgz -C /opt/module/
• 进入/opt/module目录
  cd /opt/module
• 修改文件目录名称
  mv kafka_2.12-3.6.1/ kafka

修改配置文件

• 进入cd /opt/module/kafka/config文件目录
  cd /opt/module/kafka/config
• 修改配置文件
  vim server.properties
• 输入以下内容:

  #broker的全局唯一编号，每个服务节点不能重复，只能是数字。
  broker.id=1
  #broker对外暴露的IP和端口 （每个节点单独配置）
  advertised.listeners=PLAINTEXT://kafka-broker1:9092
  #kafka运行日志(数据)存放的路径，路径不需要提前创建，kafka自动帮你创建，可以配置多个磁盘路径，路径与路径之间可以用"，"分隔
  log.dirs=/opt/module/kafka/datas
  #配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便管理）
  zookeeper.connect=kafka-broker1:2181,kafka-broker2:2181,kafka-broker3:2181/kafka

分发kafka软件

• 进入 /opt/module目录
  cd /opt/module
• 执行分发指令
  xsync kafka
• 按照上面的配置文件内容，在每一个Kafka节点进行配置,请注意配置文件中第一二条的对应主机号
  vim /opt/module/kafka/config/server.properties

配置环境变量

• 修改 /etc/profile.d/my_env.sh文件
  vim /etc/profile.d/my_env.sh
• 添加内容

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

• 让环境变量生效
  source /etc/profile.d/my_env.sh
• 分发环境变量，并让环境变量生效
  xsync /etc/profile.d/my_env.sh
• 每个节点执行刷新操作
  source /etc/profile.d/my_env.sh

启动Kafka

• 启动前请先启动ZooKeeper服务
• 进入/opt/module/kafka目录
  cd /opt/module/kafka
• 执行启动指令
  bin/kafka-server-start.sh -daemon config/server.properties
• 执行关闭指令
  bin/kafka-server-stop.sh

分发软件

• 进入/opt/module路径
  cd /opt/module
• 调用分发脚本将本机得ZooKeeper安装包分发到其他两台机器
  xsync kafka
• 分别将不同虚拟机/opt/module/kafka/zkData目录下myid文件进行修改
  vim /opt/module/kafka/config/server.properties

分发脚本可参考此博客https://i.cnblogs.com/posts/edit;postId=18145758

启停脚本

• 进入/root/bin目录
  cd /root/bin
• 创建kfk.sh脚本文件
  vim kfk.sh
• 在脚本中增加内容:

#!/bin/bash

case "$1" in
start)
    for i in kafka-broker1 kafka-broker2 kafka-broker3
    do
        echo " --------启动 $i Kafka-------"
        ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties" && echo "$i Kafka started" || echo "Failed to start $i Kafka"
    done
    ;;
stop)
    for i in kafka-broker1 kafka-broker2 kafka-broker3
    do
        echo " --------停止 $i Kafka-------"
        # 这里需要一个适当的方法来停止 Kafka 服务
        # ssh $i "pkill -f '/opt/module/kafka/bin/kafka.Kafka'"
        ssh $i "/path/to/your/kafka-stop-script.sh" && echo "$i Kafka stopped" || echo "Failed to stop $i Kafka"
    done
    ;;
*)
    echo "Usage: $0 {start|stop}"
    ;;
esac

• 给文件授权
  chmod 777 kfk.sh
• 脚本调用方式
• 启动kafka
  kfk.sh start
• 停止Kafka
  kfk.sh stop