简介
Apache Kafka是一款开源的分布式流处理平台，最初由LinkedIn开发，并于2011年开源。它是一个高吞吐量、可扩展、持久化的消息发布-订阅系统。Kafka被设计用于处理实时数据流，支持大规模的数据流和实时事件处理。
准备工作
确保你的系统满足以下要求：
• Java 8或更高版本已安装并配置好。
• zookeeper安装配置并启动
• 确保网络连接正常
kafka安装配置
解压安装包
tar -zxvf kafka_2.12-2.4.1.tgz -C /opt/module
配置环境变量
vim /etc/profile
export KAFKA_HOME=/opt/module/kafka_2.12-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile
查看kafka的版本
kafka-server-start.sh --version
修改server.properties文件
cd /opt/module/kafka_2.12-2.4.1/config/server.properties
//bigdata1
broker.id=0
zookeeper.connect=bigdata1:2181,bigdata2:2181,bigdata3:2181
//bigdata2
broker.id=1
zookeeper.connect=bigdata1:2181,bigdata2:2181,bigdata3:2181
//bigdata3
broker.id=2
zookeeper.connect=bigdata1:2181,bigdata2:2181,bigdata3:2181
分发
scp /etc/profile bigdata2:/etc/profile
scp /etc/profile bigdata3:/etc/profile
scp -r /opt/module/kafka_2.12-2.4.1 bigdata2:/opt/module
scp -r /opt/module/kafka_2.12-2.4.1 bigdata3:/opt/module
在bigdata1、bigdata2和bigdata3节点上分别启动Kafka
kafka-server-start.sh -daemon /opt/kafka/config/server.properties
在bigdata1上创建Topic并查看
#创建
kafka-topics.sh --create \
--topic installtopic --partitions 2 \
--replication-factor 2 \
--zookeeper bigdata1:2181,bigdata2:2181,bigdata3:2181
#查看
kafka-topics.sh --list \
--zookeeper bigdata1:2181,bigdata2:2181,bigdata3:2181