首页 > 其他分享 >0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用

时间:2022-10-04 11:32:05浏览次数:48  
标签:client -- Kerberos 9092 Kafka 7.1 192.168 config

1.文档编写目的



在CDP集群中启用了Kerberos认证,那么Kafka集群能否与Kerberos认证服务集成呢?本文主要讲述如何通过Cloudera Manager为Kafka集群启用Kerberos认证及客户端配置使用。

  • 内容概述

1.修改Kafka配置

2.配置客户端

3.客户端测试Producer和Consumer

  • 测试环境

1.RedHat7.6

2.CM版本7.3.1和CDP版本7.1.4

3.采用root用户

4.Kafka2.4.1


2.修改Kafka配置



1.登录Cloudera Manager进入Kafka服务,修改ssl.client.auth配置为none

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_bootstrap


2.Kafka启用Kerberos

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_bootstrap_02


3.修改security.inter.broker.protocol配置为SASL_PLAINTEXT

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_cloudera_03


4.保存以上修改的配置后,回到主页根据提示重启Kafka Server

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_bootstrap_04

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_kafka_05

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_cloudera_06

完成以上配置就可以为Kafka集群启用Kerberos认证。


3.配置客户端



1.创建jaas.conf文件

如果你先使用kinit初始化Kerberos账号,则jaas.conf配置文件内容如下:

1KafkaClient {
2 com.sun.security.auth.module.Krb5LoginModule required
3 useTicketCache=true;
4};

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_cloudera_07


如果使用keytab文件初始化Kerberos账号,则jaas-keytab.conf配置文件内容如下:

1KafkaClient {
2 com.sun.security.auth.module.Krb5LoginModule required
3 useKeyTab=true
4 keyTab="/root/fayson.keytab"
5 principal="[email protected]";
6};

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_kafka_08


2.创建client.properties文件,内容如下

1security.protocol=SASL_PLAINTEXT
2sasl.kerberos.service.name=kafka

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_cloudera_09


4.客户端测试Producer和Consumer及简单使用



1.设置KAFKA_OPTS环境变量

1export KAFKA_OPTS="-Djava.security.auth.login.config=/root/jaas.conf"

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_cloudera_10


或者

1export KAFKA_OPTS="-Djava.security.auth.login.config=/root/jaas-keytab.conf"

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_kafka_11

如果使用jaas.conf文件设置环境变量则需要先使用kinit初始化Kerberos账号。


2.创建Topic

1kafka-topics --create --partitions 3 --replication-factor 1 --topic test3 --bootstrap-server 192.168.0.55:9092,192.168.0.165:9092,192.168.0.165:9092 --command-config client.properties

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_bootstrap_12


3.查看所有Topic

1kafka-topics --list --bootstrap-server 192.168.0.55:9092  --command-config client.properties

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_kafka_13

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_kafka_14


4.查看Topic描述信息

1kafka-topics --describe --topic test3 --bootstrap-server 192.168.0.55:9092  --command-config client.properties

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_kafka_15

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_bootstrap_16


5.修改Topic分区数

1kafka-topics --bootstrap-server 192.168.0.55:9092 -alter --partitions 4 --topic test3 --command-config client.properties

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_cloudera_17

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_kafka_18


6.运行Kafka的Producer

1kafka-console-producer --broker-list 192.168.0.55:9092 --topic test3 --producer.config client.properties
2...
3hello
4world

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_cloudera_19

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_cloudera_20


7.运行Kafka的Consumer

1export KAFKA_OPTS="-Djava.security.auth.login.config=/root/jaas.conf"
2kafka-console-consumer --topic tes3 --from-beginning --bootstrap-server 192.168.0.55:9092,192.168.0.165:9092,192.168.0.165:9092 --consumer.config client.properties
3...
4hello
5world

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_bootstrap_21

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_bootstrap_22


8.删除Topic

1kafka-topics --delete --topic test3 --bootstrap-server 192.168.0.55:9092,192.168.0.165:9092,192.168.0.165:9092 --command-config client.properties

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_bootstrap_23


删除成功

0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用_kafka_24


参考文档:


https://docs.cloudera.com/cdp-private-cloud-base/7.1.7/kafka-securing/topics/kafka-secure-kerberos-enable.html
















标签:client,--,Kerberos,9092,Kafka,7.1,192.168,config
From: https://blog.51cto.com/u_14049791/5731157

相关文章