环境信息
本次实战的操作系统和软件的版本信息如下:
-
Kubernetes:1.15
-
Kubernetes宿主机:CentOS Linux release 7.7.1908
-
NFS服务:IP地址192.168.50.135,文件夹/volume1/nfs-storageclass-test
-
Helm:2.16.1
-
Kafka:2.0.1
-
Zookeeper:3.5.5
接下来的实战之前,请您准备好:K8S、Helm、NFS、StorageClass;
操作
-
添加helm仓库(该仓库中有kafka):helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator
-
下载kafka的chart:helm fetch incubator/kafka
-
下载成功后当前目录有个压缩包:kafka-0.20.8.tgz,解压:tar -zxvf kafka-0.20.8.tgz
-
进入解压后的kafka目录,编辑values.yaml文件,下面是具体的修改点:
-
首先要设置在K8S之外的也能使用kafka服务,修改external.enabled的值,改为true:
- 找到configurationOverrides,下图两个黄框中的内容原本是注释的,请删除注释符号,另外,如果您之前设置过跨网络访问kafka,就能理解下面写入K8S宿主机IP的原因了:
- 接下来设置数据卷,找到persistence,按需要调整大小,再设置已准备好的storageclass的名称:
- 再设置zookeeper的数据卷:
-
设置完成,开始部署,先创建namespace,执行:kubectl create namespace kafka-test
-
在kafka目录下执行:helm install --name-template kafka -f values.yaml . --namespace kafka-test
-
如果前面的配置没有问题,控制台提示如下所示:
- kafka启动依赖zookeeper,整个启动会耗时数分钟,期间可见zookeeper和kafka的pod逐渐启动:
- 查看服务:kubectl get services -n kafka-test,如下图红框所示,通过宿主机IP:31090、宿主机IP:31091、宿主机IP:31092即可从外部访问kafka:
- 查看kafka版本:kubectl exec kafka-0 -n kafka-test – sh -c ‘ls /usr/share/java/kafka/kafka_*.jar’ ,如下图红框所示,scala版本2.11,kafka版本2.0.1:
- kafka启动成功后,咱们来验证服务是否正常;
对外暴露zookeeper
-
为了远程操作kafka,有时需要连接到zookeeper,所以需要将zookeeper也暴露出来;
-
创建文件zookeeper-nodeport-svc.yaml,内容如下:
apiVersion: v1
kind: Service
metadata:
name: zookeeper-nodeport
namespace: kafka-test
spec:
type: NodePort
ports:
- port: 2181
nodePort: 32181
selector:
app: zookeeper
release: kafka
-
执行命令:kubectl apply -f zookeeper-nodeport-svc.yaml
-
查看服务,发现已经可以通过宿主机IP:32181访问zookeeper了,如下图:
验证kafka服务
找一台电脑安装kafka包,就能通过里面自带的命令远程连接和操作K8S的kafka了:
- 访问kafka官网:http://kafka.apache.org/downloads ,刚才确定了scala版本2.11,kafka版本2.0.1,因此下载下图红框中的版本:
ss=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5,size_16,color_FFFFFF,t_70)
-
下载后解压,进入目录kafka_2.11-2.0.1/bin
-
查看当前topic:
./kafka-topics.sh --list --zookeeper 192.168.50.135:32181
如下图,空空如也:
4. 创建topic:
./kafka-topics.sh --create --zookeeper 192.168.50.135:32181 --replication-factor 1 --partitions 1 --topic test001
如下图,创建成功后再查看topic终于有内容了:
5. 查看名为test001的topic:
./kafka-topics.sh --describe --zookeeper 192.168.50.135:32181 --topic test001
6. 进入创建消息的交互模式:
./kafka-console-producer.sh --broker-list 192.168.50.135:31090 --topic test001
进入交互模式后,输入任何字符串再输入回车,就会将当前内容作为一条消息发送出去:
7. 再打开一个窗口,执行命令消费消息:
./kafka-console-consumer.sh --bootstrap-server 192.168.50.135:31090 --topic test001 --from-beginning
8. 再打开一个窗口,执行命令查看消费者group:
./kafka-consumer-groups.sh --bootstrap-server 192.168.50.135:31090 --list
标签:50.135,--,zookeeper,kafka,topic,访问,K8S,Kafka From: https://blog.51cto.com/u_15767153/5819447