- 2024-11-10Kafka - 启用安全通信和认证机制_SSL + SASL
文章目录官方资料概述制作kakfa证书1.1openssl生成CA1.2生成server端秘钥对以及证书仓库1.3CA签名证书1.4服务端秘钥库导入签名证书以及CA根证书1.5生成服务端信任库并导入CA根数据1.6生成客户端信任库并导入CA根证书2配置zookeeperSASL认证2.1编写zk_server
- 2024-11-01kafka-eager安装-Mac
kafka-eager安装-Mac官网:http://www.kafka-eagle.org/支持window,MacOS/linux简称:EFAK查看官方安装文档:https://docs.kafka-eagle.org/2.installation/1.requirements对硬件软件的要求:硬件推荐:最少2G内存,1个CPU支持的数据库:MYSQL,sqlLite-->(自行选择,配置文件配置即可)软件
- 2024-09-19Kafka 安全机制详解及配置指南
个人名片
- 2024-09-06postfix做为邮件中继服务器
内网里有一些机器无法使用外网,这样设定邮件报警的时候内部需要搭建一个邮件中继服务器来转发,查询后发现postfix在ubuntu下比较友好,摸索了一轮,测试成功,记录如下。1.-安装postfixsudoaptinstallpostfix弹出对话框选择:Satellitesystem接着domain,选择默认即可SMTPrelayhost,填写S
- 2024-08-07防盗、防泄露、防篡改,我们把 ZooKeeper 的这种认证模式玩明白了
作者:子葵你的ZooKeeper安全吗?在当下网络安全事件频发的背景下,安全防护的构建成为日常开发与运维工作中的重中之重。ZooKeeper存储着系统敏感实例信息与配置数据,但传统的使用方式并未为ZooKeeper配备强制身份验证机制,从而使得其内部数据面临暴露在网络空间中的风险。稍有不
- 2024-07-29基于 SASL/SCRAM 让 Kafka 实现动态授权认证
一、说明在大数据处理和分析中ApacheKafka已经成为了一个核心组件。然而在生产环境中部署Kafka时,安全性是一个必须要考虑的重要因素。SASL(简单认证与安全层)和SCRAM(基于密码的认证机制的盐化挑战响应认证机制)提供了一种方法来增强Kafka集群的安全性。本文将从零开始部署
- 2024-06-20KAFKA配置 SASL_SSL双重认证
1.背景kafka提供了多种安全认证机制,主要分为SASL和SSL两大类。SASL:是一种身份验证机制,用于在客户端和服务器之间进行身份验证的过程,其中SASL/PLAIN是基于账号密码的认证方式。SSL:是一种加密协议,用于在网络通信中提供数据的保密性和完整性。它使用公钥和私钥来建立安全的连接,并
- 2024-05-15offsetExplorer3.0 如何连接加SASL认证的zookeeper、kafka
offsetExplorer3.0连接速度与查看topic、consumers查询速度显著提升。建议使用offsetExplorer3.0代替旧版offsetExploreroffsetExplorer3.0下载地址:https://www.kafkatool.com/download.html配置方式如下:注意:zookeeper和kafka的地址、端口,可以二选一,只配置一个,也可以全配置。
- 2024-05-11Kafka SASL/SCRAM认证与ACL配置
Kafka版本2.12-2.2.0,Zookeeper版本:3.4.14,SASL/PLAIN方式用户名密码是存储在文件中,不能动态添加,密码明文,每次想要添加新的账户都需要重启Kafka去加载静态文件,才能使之生效,十分的不方便!所以使用SASL/SCRAM的方式,这种方式的用户名/密码是存储在zookeeper中,能够支持动态添加用
- 2024-05-08关于window python2 跑hive的问题
1.环境必须通过sasl-0.2.1-cp27-cp27m-win_amd64.whl包手动进行安装。如果通过pipinstallsasl或者setup.py的模式window大概率会报错,类似这种C++的2.必须安装pythonVS的依赖windows平台使用MicrosoftVisualC++CompilerforPython2.7编译python扩展可以参考博客 http
- 2024-04-30Kafka SASL认证与ACL配置
Kafka版本2.12-2.2.0,Zookeeper版本:3.4.14,认证方式:SASL/PLAIN,这种方式其实就是一个账号/密码的认证方式,不过它有很多缺陷,比如用户名密码是存储在文件中,不能动态添加,密码明文等等!建议大家用SASL/SCRAM的方式,这种方式用户名/密码是存储在zookeeper中,能够支持动态添加用户。该种
- 2024-03-31二进制部署kafka-eagle(kafka可视化组件)
部署kafka-eagle下载地址:https://github.com/smartloli/kafka-eagle-bin/archive/v3.0.1.tar.gz依赖: 需要数据库和jdk环境来做数据的存储,可以参考之前的文档 部署数据库:https://www.cnblogs.com/Direction-of-efforts/p/17810459.html 部
- 2024-03-28kafka维护
1,检测参考:https://kafka-python.readthedocs.io/en/master/apidoc/KafkaClient.htmlfromkafka.adminimportKafkaAdminClient,NewTopicfromkafkaimportKafkaProducerfromkafkaimportKafkaConsumerfromkafkaimportKafkaClientimporttime#配置Kafka集群信息
- 2024-01-22【问题解决】Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected 和服务器连接已经断开。可能kafka 服务器停
【问题解决】Kafka报错Bootstrapbrokerx.x.x.x:9092(id:-1rack:null)disconnected和服务器连接已经断开。可能kafka服务器停止问题复现近日针对某一客户需求开发了一个需要使用Kafka的功能,功能是什么暂且不论,在本地虚机的Kafka连接一切正常遂放到测试服务器上验证功
- 2024-01-22Kafka【问题 02】KafkaTemplate 报错 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected 问题解决
Kafka【问题02】KafkaTemplate报错Bootstrapbrokerlocalhost:9092(id:-1rack:null)disconnected问题解决1.报错信息主要的报错信息:Connectiontonode-1(localhost/127.0.0.1:9092)couldnotbeestablished.Brokermaynotbeavailable.和Bootstrapbrok
- 2023-12-10通过 docker-compose 快速部署 EFAK 保姆级教程
目录一、概述二、开始编排部署EFAK1)部署docker2)部署docker-compose3)创建自定义docker网络4)创建MySQL挂载目录5)编排docker-compose.yaml部署一、概述EFAK(EagleForApacheKafka,以前称为KafkaEagle)是一款由国内公司开源的Kafka集群监控系统,可以用来监视kafka集群的broke
- 2023-11-22Kafka 配置部署及SASL_PLAINTEXT安全认证
1、下载安装Kafka下载地址:ApacheKafka#下载文件wgethttps://downloads.apache.org/kafka/3.5.1/kafka_2.12-3.5.1.tgz#文件解压缩tar-zxvfkafka_2.12-3.5.1.tgz#修改目录名称mvkafka_2.12-3.5.1kafka_2.12#进入目录cdkafka_2.122、Zookeeper 配置2.
- 2023-11-09你还在为SFTP连接超时而困惑么? | 京东云技术团队
1.前言在最近的项目联调过程中,发现在连接上游侧SFTP时总是需要等待大约10s+的时间才会出现密码输入界面,这种长时间的等待直接导致的调用文件接口时连接sftp超时问题。于是决定自己针对该问题进行一下排查,查询了相关资料,并逐个试验了一下网上提供的解决方案,然后在文章中详细记录问
- 2023-11-09你还在为SFTP连接超时而困惑么?
1.前言在最近的项目联调过程中,发现在连接上游侧SFTP时总是需要等待大约10s+的时间才会出现密码输入界面,这种长时间的等待直接导致的调用文件接口时连接sftp超时问题。于是决定自己针对该问题进行一下排查,查询了相关资料,并逐个试验了一下网上提供的解决方案,然后在文章中详细记录
- 2023-10-26docker-compose部署SASL认证的kafka
前言测试服务器:10.255.60.149一.编写docker-compose文件1.docker-compose.ymlversion:'3.8'services:zookeeper:image:wurstmeister/zookeepervolumes:-/data/zookeeper/data:/data-/home/docker-compose/kafka/config:/opt/zookeeper-
- 2023-10-26helm部署kafka鉴权以及ACL
官方文档https://github.com/bitnami/charts/tree/main/bitnami/kafkahttps://blog.csdn.net/u011618288/article/details/129105777(包含zookeeper与broker认证、鉴权流程)一.修改values.yaml文件按通用部署方案拉下来kafka安装包,修改values.yaml文件,开启scram鉴权,ACL以
- 2023-10-20Python-操作kerberos验证的kafka
本笔记为python操作kerberos认证的kafka的操作方法,此仅记录作为使用者,连接客户提供的kafka并进行操作的流程。1、依赖安装:python相关依赖库:pip3installkafka-pythonpip3installgssapi系统(镜像):需要安装kerberos的客户端进行验证对于mac:brewinstallkrb5对于Debian或Ub
- 2023-09-04我的 Kafka 旅程 - 基于账号密码的 SASL+PLAIN 认证授权 · 配置 · 创建账号 · 用户授权 · .NET接入
本文基于Kafka3.0+的KRaft模式来阐述默认的Kafka不受认证约束,可不用账号就可以连接到服务,也就是默认的PLAIN方式,不需要认证;配置了SASL认证之后,连接Kafka只能用凭证连接登录。SASL支持的认证方式有多种:GSSAPI,PLAIN,SCRAM-SHA-256,SCRAM-SHA-512,OAUTHBEARERGSSAPI
- 2023-08-07kafka集群监控EFAK搭建
源码包准备 1.上传包 exportKE_HOME=/home/secure/prom/kafka-eagle-bin-3.0.1/efak-web-3.0.1 exportPATH=$PATH:$KE_HOME/bin source/etc/profile 2.安装mysql EFAK配置修改 1.修
- 2023-07-31mongodb saslStart error
MongoDBSASLStartErrorIntroductionWhenworkingwithMongoDB,youmayencounteranerrormessagestating"mongodbsaslStarterror."ThiserroroccurswhenthereisanissuewiththeSASL(SimpleAuthenticationandSecurityLayer)authenticati