• 2024-11-01kafka-eager安装-Mac
    kafka-eager安装-Mac官网:http://www.kafka-eagle.org/支持window,MacOS/linux简称:EFAK查看官方安装文档:https://docs.kafka-eagle.org/2.installation/1.requirements对硬件软件的要求:硬件推荐:最少2G内存,1个CPU支持的数据库:MYSQL,sqlLite-->(自行选择,配置文件配置即可)软件
  • 2024-09-19Kafka 安全机制详解及配置指南
    个人名片
  • 2024-09-06postfix做为邮件中继服务器
    内网里有一些机器无法使用外网,这样设定邮件报警的时候内部需要搭建一个邮件中继服务器来转发,查询后发现postfix在ubuntu下比较友好,摸索了一轮,测试成功,记录如下。1.-安装postfixsudoaptinstallpostfix弹出对话框选择:Satellitesystem接着domain,选择默认即可SMTPrelayhost,填写S
  • 2024-08-07防盗、防泄露、防篡改,我们把 ZooKeeper 的这种认证模式玩明白了
    作者:子葵你的ZooKeeper安全吗?在当下网络安全事件频发的背景下,安全防护的构建成为日常开发与运维工作中的重中之重。ZooKeeper存储着系统敏感实例信息与配置数据,但传统的使用方式并未为ZooKeeper配备强制身份验证机制,从而使得其内部数据面临暴露在网络空间中的风险。稍有不
  • 2024-07-29基于 SASL/SCRAM 让 Kafka 实现动态授权认证
    一、说明在大数据处理和分析中ApacheKafka已经成为了一个核心组件。然而在生产环境中部署Kafka时,安全性是一个必须要考虑的重要因素。SASL(简单认证与安全层)和SCRAM(基于密码的认证机制的盐化挑战响应认证机制)提供了一种方法来增强Kafka集群的安全性。本文将从零开始部署
  • 2024-06-20KAFKA配置 SASL_SSL双重认证
    1.背景kafka提供了多种安全认证机制,主要分为SASL和SSL两大类。SASL:是一种身份验证机制,用于在客户端和服务器之间进行身份验证的过程,其中SASL/PLAIN是基于账号密码的认证方式。SSL:是一种加密协议,用于在网络通信中提供数据的保密性和完整性。它使用公钥和私钥来建立安全的连接,并
  • 2024-05-15offsetExplorer3.0 如何连接加SASL认证的zookeeper、kafka
    offsetExplorer3.0连接速度与查看topic、consumers查询速度显著提升。建议使用offsetExplorer3.0代替旧版offsetExploreroffsetExplorer3.0下载地址:https://www.kafkatool.com/download.html配置方式如下:注意:zookeeper和kafka的地址、端口,可以二选一,只配置一个,也可以全配置。
  • 2024-05-11Kafka SASL/SCRAM认证与ACL配置
    ​ Kafka版本2.12-2.2.0,Zookeeper版本:3.4.14,SASL/PLAIN方式用户名密码是存储在文件中,不能动态添加,密码明文,每次想要添加新的账户都需要重启Kafka去加载静态文件,才能使之生效,十分的不方便!所以使用SASL/SCRAM的方式,这种方式的用户名/密码是存储在zookeeper中,能够支持动态添加用
  • 2024-05-08关于window python2 跑hive的问题
    1.环境必须通过sasl-0.2.1-cp27-cp27m-win_amd64.whl包手动进行安装。如果通过pipinstallsasl或者setup.py的模式window大概率会报错,类似这种C++的2.必须安装pythonVS的依赖windows平台使用MicrosoftVisualC++CompilerforPython2.7编译python扩展可以参考博客 http
  • 2024-04-30Kafka SASL认证与ACL配置
    ​ Kafka版本2.12-2.2.0,Zookeeper版本:3.4.14,认证方式:SASL/PLAIN,这种方式其实就是一个账号/密码的认证方式,不过它有很多缺陷,比如用户名密码是存储在文件中,不能动态添加,密码明文等等!建议大家用SASL/SCRAM的方式,这种方式用户名/密码是存储在zookeeper中,能够支持动态添加用户。该种
  • 2024-03-31二进制部署kafka-eagle(kafka可视化组件)
    部署kafka-eagle下载地址:https://github.com/smartloli/kafka-eagle-bin/archive/v3.0.1.tar.gz依赖:  需要数据库和jdk环境来做数据的存储,可以参考之前的文档      部署数据库:https://www.cnblogs.com/Direction-of-efforts/p/17810459.html      部
  • 2024-03-28kafka维护
    1,检测参考:https://kafka-python.readthedocs.io/en/master/apidoc/KafkaClient.htmlfromkafka.adminimportKafkaAdminClient,NewTopicfromkafkaimportKafkaProducerfromkafkaimportKafkaConsumerfromkafkaimportKafkaClientimporttime#配置Kafka集群信息
  • 2024-01-22【问题解决】Kafka报错 Bootstrap broker x.x.x.x:9092 (id: -1 rack: null) disconnected 和服务器连接已经断开。可能kafka 服务器停
    【问题解决】Kafka报错Bootstrapbrokerx.x.x.x:9092(id:-1rack:null)disconnected和服务器连接已经断开。可能kafka服务器停止问题复现近日针对某一客户需求开发了一个需要使用Kafka的功能,功能是什么暂且不论,在本地虚机的Kafka连接一切正常遂放到测试服务器上验证功
  • 2024-01-22Kafka【问题 02】KafkaTemplate 报错 Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected 问题解决
    Kafka【问题02】KafkaTemplate报错Bootstrapbrokerlocalhost:9092(id:-1rack:null)disconnected问题解决1.报错信息主要的报错信息:Connectiontonode-1(localhost/127.0.0.1:9092)couldnotbeestablished.Brokermaynotbeavailable.和Bootstrapbrok
  • 2023-12-10通过 docker-compose 快速部署 EFAK 保姆级教程
    目录一、概述二、开始编排部署EFAK1)部署docker2)部署docker-compose3)创建自定义docker网络4)创建MySQL挂载目录5)编排docker-compose.yaml部署一、概述EFAK(EagleForApacheKafka,以前称为KafkaEagle)是一款由国内公司开源的Kafka集群监控系统,可以用来监视kafka集群的broke
  • 2023-11-22Kafka 配置部署及SASL_PLAINTEXT安全认证
    1、下载安装Kafka下载地址:ApacheKafka#下载文件wgethttps://downloads.apache.org/kafka/3.5.1/kafka_2.12-3.5.1.tgz#文件解压缩tar-zxvfkafka_2.12-3.5.1.tgz#修改目录名称mvkafka_2.12-3.5.1kafka_2.12#进入目录cdkafka_2.122、Zookeeper 配置2.
  • 2023-11-09你还在为SFTP连接超时而困惑么? | 京东云技术团队
    1.前言在最近的项目联调过程中,发现在连接上游侧SFTP时总是需要等待大约10s+的时间才会出现密码输入界面,这种长时间的等待直接导致的调用文件接口时连接sftp超时问题。于是决定自己针对该问题进行一下排查,查询了相关资料,并逐个试验了一下网上提供的解决方案,然后在文章中详细记录问
  • 2023-11-09你还在为SFTP连接超时而困惑么?
    1.前言在最近的项目联调过程中,发现在连接上游侧SFTP时总是需要等待大约10s+的时间才会出现密码输入界面,这种长时间的等待直接导致的调用文件接口时连接sftp超时问题。于是决定自己针对该问题进行一下排查,查询了相关资料,并逐个试验了一下网上提供的解决方案,然后在文章中详细记录
  • 2023-10-26docker-compose部署SASL认证的kafka
    前言测试服务器:10.255.60.149一.编写docker-compose文件1.docker-compose.ymlversion:'3.8'services:zookeeper:image:wurstmeister/zookeepervolumes:-/data/zookeeper/data:/data-/home/docker-compose/kafka/config:/opt/zookeeper-
  • 2023-10-26helm部署kafka鉴权以及ACL
    官方文档https://github.com/bitnami/charts/tree/main/bitnami/kafkahttps://blog.csdn.net/u011618288/article/details/129105777(包含zookeeper与broker认证、鉴权流程)一.修改values.yaml文件按通用部署方案拉下来kafka安装包,修改values.yaml文件,开启scram鉴权,ACL以
  • 2023-10-20Python-操作kerberos验证的kafka
    本笔记为python操作kerberos认证的kafka的操作方法,此仅记录作为使用者,连接客户提供的kafka并进行操作的流程。1、依赖安装:python相关依赖库:pip3installkafka-pythonpip3installgssapi系统(镜像):需要安装kerberos的客户端进行验证对于mac:brewinstallkrb5对于Debian或Ub
  • 2023-09-04我的 Kafka 旅程 - 基于账号密码的 SASL+PLAIN 认证授权 · 配置 · 创建账号 · 用户授权 · .NET接入
    本文基于Kafka3.0+的KRaft模式来阐述默认的Kafka不受认证约束,可不用账号就可以连接到服务,也就是默认的PLAIN方式,不需要认证;配置了SASL认证之后,连接Kafka只能用凭证连接登录。SASL支持的认证方式有多种:GSSAPI,PLAIN,SCRAM-SHA-256,SCRAM-SHA-512,OAUTHBEARERGSSAPI
  • 2023-08-07kafka集群监控EFAK搭建
    源码包准备   1.上传包      exportKE_HOME=/home/secure/prom/kafka-eagle-bin-3.0.1/efak-web-3.0.1   exportPATH=$PATH:$KE_HOME/bin   source/etc/profile   2.安装mysql     EFAK配置修改         1.修
  • 2023-07-31mongodb saslStart error
    MongoDBSASLStartErrorIntroductionWhenworkingwithMongoDB,youmayencounteranerrormessagestating"mongodbsaslStarterror."ThiserroroccurswhenthereisanissuewiththeSASL(SimpleAuthenticationandSecurityLayer)authenticati
  • 2023-07-07Linux中Postfix邮件认证配置(五)
    摘自:http://www.ywnds.com/?p=1784Postfix+Dovecot+Sasl工作原理1.A用户使用MUA客户端借助smtp协议登陆smtpd服务器,需要先进行用户和密码认证,而SMTPD服务器端支持sasl认证,例如有一个sasl客户端,就会去连接SASL。当SASL接受到验证请求时就会根据验证方式去进行验证,常用的有PAM,pass