首页 > 其他分享 >二进制部署kafka-eagle(kafka可视化组件)

二进制部署kafka-eagle(kafka可视化组件)

时间:2024-03-31 23:22:38浏览次数:25  
标签:eagle efak kafka 可视化 SASL cluster2 cluster3 cluster1

部署kafka-eagle

下载地址:https://github.com/smartloli/kafka-eagle-bin/archive/v3.0.1.tar.gz

依赖:

  需要数据库和jdk环境来做数据的存储,可以参考之前的文档

           部署数据库:https://www.cnblogs.com/Direction-of-efforts/p/17810459.html

           部署jdk:https://www.cnblogs.com/Direction-of-efforts/p/18107097

#解压tar包
tar -xvf v3.0.1.tar.gz
cd kafka-eagle-bin-3.0.1
tar -xvf efak-web-3.0.1-bin.tar.gz -C /home/work

配置环境变量

export KE_HOME=/opt/bd/kafka-eagle
export PATH=$PATH:$KE_HOME/bin
export JAVA_HOME=/opt/jdk
export PATH=$PATH:$JAVA_HOME/bin

修改配置文件

cat conf/system-config.properties | egrep -v '^#|^$'
# 定义 EFak 中使用的 ZooKeeper 集群别名
efak.zk.cluster.alias=cluster1,cluster2

# cluster1 ZooKeeper 列表
cluster1.zk.list=njjs-eks-zk-kafka001.njjs:2181,njjs-eks-zk-kafka002.njjs:2181,njjs-eks-zk-kafka003.njjs:2181
# cluster1 是否启用 ACL
cluster1.zk.acl.enable=false
# cluster1 ACL 认证方案
cluster1.zk.acl.schema=digest
# cluster1 ACL 用户名
cluster1.zk.acl.username=test
# cluster1 ACL 密码
cluster1.zk.acl.password=test123

# 定义 cluster1 中 Kafka 集群的大小
cluster1.efak.broker.size=20

# 定义 Kafka ZooKeeper 限制大小
kafka.zk.limit.size=16

# EFak WebUI 端口
efak.webui.port=8048

# 是否启用分布式模式
efak.distributed.enable=false

# EFak 集群模式状态
efak.cluster.mode.status=master

# EFak 工作节点主机
efak.worknode.master.host=localhost
# EFak 工作节点端口
efak.worknode.port=8085

# cluster1 是否启用 JMX ACL
cluster1.efak.jmx.acl=false
# cluster1 JMX 用户名
cluster1.efak.jmx.user=keadmin
# cluster1 JMX 密码
cluster1.efak.jmx.password=keadmin123
# cluster1 JMX 是否启用 SSL
cluster1.efak.jmx.ssl=false
# cluster1 JMX TrustStore 位置
cluster1.efak.jmx.truststore.location=/data/ssl/certificates/kafka.truststore
# cluster1 JMX TrustStore 密码
cluster1.efak.jmx.truststore.password=ke123456
# cluster1 JMX URI
cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/jmxrmi

# 是否启用 EFak 指标图表
efak.metrics.charts=true
# EFak 指标保留期
efak.metrics.retain=15
# EFak SQL 主题记录最大值
efak.sql.topic.records.max=5000
# EFak SQL 预览主题记录最大值
efak.sql.topic.preview.records.max=10

# EFak 主题 Token
efak.topic.token=keadmin

# cluster1 SASL 是否启用
cluster1.efak.sasl.enable=false
# cluster1 SASL 协议
cluster1.efak.sasl.protocol=SASL_PLAINTEXT
# cluster1 SASL 机制
cluster1.efak.sasl.mechanism=SCRAM-SHA-256
# cluster1 SASL JAAS 配置
cluster1.efak.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
# cluster1 SASL Client ID
cluster1.efak.sasl.client.id=
# cluster1 黑名单主题
cluster1.efak.blacklist.topics=
# cluster1 是否启用消费组 SASL
cluster1.efak.sasl.cgroup.enable=false
# cluster1 消费组 SASL 主题
cluster1.efak.sasl.cgroup.topics=

# cluster2 SASL 是否启用
cluster2.efak.sasl.enable=false
# cluster2 SASL 协议
cluster2.efak.sasl.protocol=SASL_PLAINTEXT
# cluster2 SASL 机制
cluster2.efak.sasl.mechanism=PLAIN
# cluster2 SASL JAAS 配置
cluster2.efak.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
# cluster2 SASL Client ID
cluster2.efak.sasl.client.id=
# cluster2 黑名单主题
cluster2.efak.blacklist.topics=
# cluster2 是否启用消费组 SASL
cluster2.efak.sasl.cgroup.enable=false
# cluster2 消费组 SASL 主题
cluster2.efak.sasl.cgroup.topics=

# cluster3 SSL 是否启用
cluster3.efak.ssl.enable=false
# cluster3 SSL 协议
cluster3.efak.ssl.protocol=SSL
# cluster3 SSL TrustStore 位置
cluster3.efak.ssl.truststore.location=
# cluster3 SSL TrustStore 密码
cluster3.efak.ssl.truststore.password=
# cluster3 SSL KeyStore 位置
cluster3.efak.ssl.keystore.location=
# cluster3 SSL KeyStore 密码
cluster3.efak.ssl.keystore.password=
# cluster3 SSL Key 密码
cluster3.efak.ssl.key.password=
# cluster3 SSL 端点识别算法
cluster3.efak.ssl.endpoint.identification.algorithm=https
# cluster3 黑名单主题
cluster3.efak.blacklist.topics=
# cluster3 是否启用消费组 SSL
cluster3.efak.ssl.cgroup.enable=false
# cluster3 消费组 SSL 主题
cluster3.efak.ssl.cgroup.topics=

# EFak JDBC 驱动
efak.driver=com.mysql.cj.jdbc.Driver
# EFak JDBC URL
efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
# EFak JDBC 用户名
efak.username=root
# EFak JDBC 密码
efak.password=123456

启动

./bin/ke.sh start 启动
./bin/ke.sh status 查看状态
./bin/ke.sh stop 停止

账号:admin 密码:123456

标签:eagle,efak,kafka,可视化,SASL,cluster2,cluster3,cluster1
From: https://www.cnblogs.com/Direction-of-efforts/p/18107473

相关文章

  • 二进制部署kafka
    部署KAFKA集群机器:eks-zk-kafka00110.0.0.41eks-zk-kafka00210.0.0.42eks-zk-kafka00310.0.0.43初始化单机环境#关闭防火墙systemctldisable--nowfirewalldsystemctldisable--nowdnsmasqsystemctldisable--nowNetworkManager#关闭selinuxseten......
  • 前端可视化echarts和three
    canvas画一条直线constcanvas=document.getElementById('canvas')constctx=canvas.getContext('2d')ctx.beginPath()//绘制都用beginPath和closePath包裹ctx.lineWidth=4ctx.strokeStyle='orange'//起点终点中间点ctx.moveTo......
  • Kafka理论知识总结
    参考文献:基本概念:https://zhuanlan.zhihu.com/p/392568942可靠传输:https://www.zhihu.com/question/483747691/answer/2392949203kafka基本概念?kafka有逻辑分区叫做topic,每个topic可以设置多个partition物理分区,每个物理分区可以设置一个或多个副本。生产者producer将数据推......
  • 5-4Tensorboard可视化
    在我们的炼丹过程中,如果能够使用丰富的图像来展示模型的结构,指标的变化,参数的分布,输入的形态等信息,无疑会提升我们对问题的洞察力,并增加许多炼丹的乐趣。TensorBoard正是这样一个神奇的炼丹可视化辅助工具。它原是TensorFlow的小弟,但它也能够很好地和Pytorch进行配合。甚至在Pyt......
  • kafka部署配置与启停
    一、部署kafkadeploy-kafka.sh#!/bin/bash//需要首先修改正确的集群机器ipserver1="host1"server2="host2"server3="host3"//每台机器设置一个独立的indexidSERVER_INDEX="1"if[-f"kafka_2.13-3.7.0.tgz"];thenecho"文件存在......
  • .NET开源、免费、跨平台的Git可视化管理工具
    前言俗话说得好“工欲善其事,必先利其器”,合理的选择和使用可视化的管理工具可以降低技术入门和使用的门槛。今天大姚给大家分享一款.NETAvalonia开源、免费、跨平台、快速的Git可视化管理工具:SourceGit。Avalonia介绍Avalonia是一个强大的框架,使开发人员能够使用.NET创建跨平......
  • 初学可视化PyQt5系列--hello my four rotor drone
    【初学可视化PyQt5系列】第1章PyQt5简介第2章PyQt5新增功能第3章Hellomyfourrotordrone第4章PyQt5主要类第5章PyQt5使用Qt设计器第6章PyQt5信号与插槽第7章PyQt5布局与管理第8章PyQt5基本小部件第9章PyQt5QDialog类第10章PyQt5QMessageBox......
  • 从零实战本地服务器部署 Docker 安装 ThingsBoard PE 专业版(适用于Cassandra + Kafka
    目录1、准备工作2、本地服务器LinuxCentos7.9系统安装docker2.1、检查Linux的内核版本2.2、卸载Docker旧版本(若有需要)2.3、安装Docker2.4、安装Docker引擎2.5、 启动docker和设置开机⾃启动3、使用Docker安装ThingsBoardPE3.1、 拉取ThingsBoardPE镜像3.2......
  • 数据剑舞,图表如潮!Matplotlib傲视数据可视化江湖
    在代码的世界中,隐藏着一座神秘而神奇的画图殿堂,它就是Matplotlib。这座殿堂矗立在数据的海洋中,每一行代码都是一笔神奇的咒语,让数据在图像之间舞动,展现出无限可能。Matplotlib的大门上镶嵌着闪烁的彩虹宝石,每当有开发者走近,便散发出五彩斑斓的光芒,仿佛在诉说着这里的神秘。而在宫......
  • 毕业设计:基于python的药品销售数据分析可视化系统 大数据
    目录前言课题背景和意义实现技术思路一、算法理论基础1.1 ETL技术1.2OLAP技术1.3数据可视化二、 数据集三、实验及结果分析3.1 实验环境搭建3.2 模型训练最后前言  ......