1 背景
因为工作中需要对接kafka，准备在测试环境中自己部署一套，考虑方便决定部署一台单点。
2 部署
2.1 scala
2.1.1 java环境
openjdk即可，我使用的是openjdk1.8
2.1.2 下载软件
下载scala-2.12.17.tgz并解压，例如解压到/home/scala/scala-2.12.17
2.1.3 环境变量
export SCALA_HOME=/home/scala/scala-2.12.17
export PATH=$SCALA_HOME/bin:$PATH
2.1.4 测试
scala -version，如能正常输出版本则一切正常
2.2 kafka
以下为官网教程
2.2.1 下载
下载 kafka_2.12-3.3.1.tgz 并解压，进入目录下。
2.2.2 生成Cluster UUID
KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"
2.2.3 日志记录
bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server.properties
2.2.4 启动
首先修改kafka目录下 /config/kraft/server.properties中的
listeners=PLAINTEXT://:9092
修改为对外地址，否则只能localhost使用
bin/kafka-server-start.sh config/kraft/server.properties &
如果正常，则tcp 9092、9093端口处于listening状态
3 测试
3.1 命令行调用
3.1.1 操作topic
创建topic
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
删除topic
bin/kafka-topics.sh --delete --topic quickstart-events --bootstrap-server localhost:9092
3.1.2 显示topic信息
显示所有topic
bin/kafka-topics.sh --bootstrap-server localhost:9092 --list
显示具体topic信息
bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092
查看topic是否已成功创建
3.1.3 写入信息
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
3.1.4 读取信息
新开一个终端执行
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
完成后，在原先终端输入信息，在本终端则可以查看到
3.2 python调用
3.2.1 模块安装
pip3 install kafka-python -i https://pypi.tuna.tsinghua.edu.cn/simple
3.2.2 demo代码
from kafka import KafkaProducer
kafka_producer= KafkaProducer(bootstrap_servers = "localhost:9092")
kafka_producer.send("topic-01", "this is message".encode('utf-8'))
3.3 旧版本命令
bin/kafka-topics.sh --zookeeper localhost:2181 --list
bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic alarm-01 --partitions 1 --replication-factor 1
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic alarm-01
bin/kafka-console-consumer.sh --topic alarm-01 --from-beginning --bootstrap-server localhost:9092
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic alarm-01