首页 > 其他分享 >通过 docker-compose 快速部署 EFAK 保姆级教程

通过 docker-compose 快速部署 EFAK 保姆级教程

时间：2023-12-10 22:12:56浏览次数：33  
标签：EFAK compose eagle kafka ###################################### sasl docker clus

目录

一、概述

EFAK（Eagle For Apache Kafka，以前称为 Kafka Eagle）是一款由国内公司开源的Kafka集群监控系统，可以用来监视kafka集群的broker状态、Topic信息、IO、内存、consumer线程、偏移量等信息，并进行可视化图表展示。独特的KQL还可以通过SQL在线查询kafka中的数据。

在这里插入图片描述

二、开始编排部署 EFAK

想了解更详细的 EFAK，可以参考一下：大数据Hadoop之——Kafka 图形化工具 EFAK（EFAK环境部署）

1）部署 docker

# 安装yum-config-manager配置工具
yum -y install yum-utils

# 建议使用阿里云yum源：（推荐）
#yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 安装docker-ce版本
yum install -y docker-ce
# 启动并开机启动
systemctl enable --now docker
docker --version

2）部署 docker-compose

curl -SL https://github.com/docker/compose/releases/download/v2.16.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose

chmod +x /usr/local/bin/docker-compose
docker-compose --version

3）创建自定义docker网络

# 创建
docker network create bigdata

# 查看
docker network ls

4）创建 MySQL 挂载目录

mkdir -pv mysql/{data,logs}

5）编排 docker-compose.yaml 部署

docker-compose.yml

services:
  zookeeper:
    image:  registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/efak-zookeeper:3.8.1
    container_name: zookeeper
    restart: always
    environment:
      - ZOOKEEPER_CLIENT_PORT=2181
       # 必须开启 允许匿名登录
      - ALLOW_ANONYMOUS_LOGIN=yes
      - TZ=Asia/Shanghai
    volumes:
      - /etc/localtime:/etc/localtime
    ports:
      - 2181:2181
    networks:
      - bigdata

  kafka:
    image:  registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kafka:3.2.3
    container_name: kafka
    restart: always
    environment:
      - KAFKA_BROKER_ID=1
       # 内部访问
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092
       # 外部访问 由于有端口冲突 指定为190092
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.182.110:19092
      - KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
       # 是否启用kafka Raft 模式 默认是yes 要给关闭
      - KAFKA_ENABLE_KRAFT=no
      - JMX_PORT=9999
      - TZ=Asia/Shanghai
    volumes:
      - /etc/localtime:/etc/localtime
    ports:
      - 19092:9092
      - 9999:9999
    depends_on:
      - zookeeper
    networks:
      - bigdata


  mysql-kafka:
    image: registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/mysql:5.7
    container_name: mysql-kafka
    restart: always
    environment:
      - MYSQL_ROOT_PASSWORD=123456
      - MYSQL_DATABASE=ke
      - TZ=Asia/Shanghai
    volumes:
      - /etc/localtime:/etc/localtime
      - ./mysql/data:/var/lib/mysql
      - ./mysql/logs:/var/log/mysql
    networks:
      - bigdata
    ports:
      - 13306:3306

  eagle:
    image:  registry.cn-hangzhou.aliyuncs.com/bigdata_cloudnative/kafka-eagle:2.0.3
    container_name: eagle
    environment:
      - EFAK_CLUSTER_ZK_LIST=zookeeper:2181
       # 所有的做时间同步宿主机 要不然会有时间问题
      - TZ=Asia/Shanghai
    volumes:
      - /etc/localtime:/etc/localtime
      - ./system-config.properties:/kafka-eagle/conf/system-config.properties
    depends_on:
      - kafka
    ports:
      - 8048:8048
    networks:
      - bigdata


networks:
  bigdata:
    driver: bridge

配置文件system-config.properties：

# 指定zookeeper
######################################
# multi zookeeper & kafka cluster list
######################################
# kafka.eagle.zk.cluster.alias=cluster1,cluster2,cluster3
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=zookeeper:2181

######################################
# zookeeper enable acl
######################################
cluster1.zk.acl.enable=false
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=test
cluster1.zk.acl.password=test123

######################################
# broker size online list
######################################
cluster1.kafka.eagle.broker.size=10

######################################
# zk client thread limit
######################################
kafka.zk.limit.size=25

######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048

######################################
# kafka jmx acl and ssl authenticate
######################################
cluster1.kafka.eagle.jmx.acl=false
cluster1.kafka.eagle.jmx.user=keadmin
cluster1.kafka.eagle.jmx.password=keadmin123
cluster1.kafka.eagle.jmx.ssl=false
cluster1.kafka.eagle.jmx.truststore.location=/Users/dengjie/workspace/ssl/certificates/kafka.truststore
cluster1.kafka.eagle.jmx.truststore.password=ke123456

######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=zookeeper

######################################
# kafka metrics, 15 days by default
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=15

######################################
# kafka sql topic records max
######################################
kafka.eagle.sql.topic.records.max=5000

######################################
# delete kafka topic token
######################################
kafka.eagle.topic.token=keadmin

######################################
# kafka sasl authenticate
######################################
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.kafka.eagle.sasl.client.id=
cluster1.kafka.eagle.blacklist.topics=
cluster1.kafka.eagle.sasl.cgroup.enable=false
cluster1.kafka.eagle.sasl.cgroup.topics=
cluster2.kafka.eagle.sasl.enable=false
cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster2.kafka.eagle.sasl.mechanism=PLAIN
cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
cluster2.kafka.eagle.sasl.client.id=
cluster2.kafka.eagle.blacklist.topics=
cluster2.kafka.eagle.sasl.cgroup.enable=false
cluster2.kafka.eagle.sasl.cgroup.topics=

######################################
# kafka ssl authenticate
######################################
cluster3.kafka.eagle.ssl.enable=false
cluster3.kafka.eagle.ssl.protocol=SSL
cluster3.kafka.eagle.ssl.truststore.location=
cluster3.kafka.eagle.ssl.truststore.password=
cluster3.kafka.eagle.ssl.keystore.location=
cluster3.kafka.eagle.ssl.keystore.password=
cluster3.kafka.eagle.ssl.key.password=
cluster3.kafka.eagle.blacklist.topics=
cluster3.kafka.eagle.ssl.cgroup.enable=false
cluster3.kafka.eagle.ssl.cgroup.topics=

# eagle 默认使用hadoop 存储信息
######################################
# kafka sqlite jdbc driver address
######################################
#kafka.eagle.driver=org.sqlite.JDBC
#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
#kafka.eagle.username=root
#kafka.eagle.password=www.kafka-eagle.org

# 我们使用MySQL 进行数据存储
######################################
# kafka mysql jdbc driver address
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://192.168.182.110:13306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456

启动服务

docker-compose -f docker-compose.yml up -d

访问：http://192.168.182.110:8048/，记得更换自己的地址哦！！！

账号/密码：admin/123456
在这里插入图片描述
也可以管理多套集群，通过修改EFAK配置文件重启即可。

kafka.eagle.zk.cluster.alias=cluster1,cluster2,cluster3

通过 docker-compose 快速部署 EFAK 保姆级教程就先到这里了，有任何疑问也可关注我公众号：大数据与云原生技术分享，进行技术交流，如本篇文章对您有所帮助，麻烦帮忙一键三连（点赞、转发、收藏）~

在这里插入图片描述

标签：EFAK,compose,eagle,kafka,######################################,sasl,docker,clus
From： https://www.cnblogs.com/liugp/p/17893336.html

相关文章

  • Dockerfile - CMD
    CMDThe CMD instructionhasthreeforms:CMD["executable","param1","param2"] (exec form,thisisthepreferredform)CMD["param1","param2"] (as defaultparameterstoENTRYPOINT)CMDcommandparam1param......
  • dockerfile基本命令+镜像制作
    DockerFile03DockerFile1.DockerFile的概念用来构建docker​镜像的构建文件,由一系列参数和命令构成的脚本大体总览:​​‍1.构建过程要遵循的规则:​​2.执行流程‍Docker​执行一个Dockerfile​脚本的流程大致如下​Docker​从基础镜像运行一个容器执行一条......
  • 云计算中的容器化搭档Docker和K8S
    目录Docker容器Docker架构Kubernetes（k8s）容器技术演变传统部署时代：虚拟化部署时代：容器部署时代：为什么需要Kubernetes，它能做什么？DockervsK8s容器引擎vs.容器编排器：支持的镜像类型：镜像定义方式：DockerSwarmvsK8sK8s弃用Docker？Dockerdocker是一种开源的应用容器引擎，可以将应......
  • Go-web应用部署的方式——（1）Docker
    摘要：本系列文章记录了几种Go-web应用的部署方式，记录并解释所有相关的命令。参考：如何使用Docker部署GoWeb应用|李文周的博客(liwenzhou.com)1.编写Dockerfile文件#使用基础镜像FROMgolang:alpine#设置环境变量ENVGO111MODULE=on\GOPROXY=https://goproxy.cn,......
  • 基于Docker容器搭建hadoop完全分布式集群环境
    简介物理机：windows10宿主机：Centos7虚拟机，需要安装Docker服务hadoop集群节点：3个centos7的容器，hadoop1、hadoop2、hadoop3组件：容器镜像：Centos7DockerCE24.0.7JDK1.8.0_181Hadoop3.1.31.新建虚拟机安装CentOS72.安装Docker2.1安装docker服务yum-yinstalldocke......
  • docker基础知识
    目录1.docker简介1.为什么要创建隔离的环境？2.为什么dockeri可以比虚拟机极大的节省资源？3.docker基础概念（1）镜像（Image）（2）容器（Container）2.docker使用1.docker安装2.docker命令dockersearch查询镜像dockerpull拉取镜像dockerimages查看镜像dockerbuild构建镜像dockerstart......
  • Docker的常用命令
    docker命令有很多，总的分为以下几大类：容器生命周期管理—docker[run|start|stop|restart|kill|rm|pause|unpause]容器操作运维—docker[ps|inspect|top|attach|events|logs|wait|export|port]容器rootfs命令—docker[commit|cp|diff]镜像仓库—docker[login|pu......
  • Docker - Remove build cache
    dockerbuilderpruneRemovebuildcacheUsagedockerbuilderpruneDescriptionRemovebuildcacheOptionsOptionShortDefaultDescription--all-a Removeallunusedbuildcache,notjustdanglingones--filter  Providefiltervalues(e.g. unt......
  • How to Use Docker and NS-3 to Create Realistic Network Simulations
    https://insights.sei.cmu.edu/blog/how-to-use-docker-and-ns-3-to-create-realistic-network-simulations/ HowtoUseDockerandNS-3toCreateRealisticNetworkSimulationsALEJANDROGOMEZMARCH27,2023Sometimes,researchersanddevelopersneedt......
  • 3-运行第一个docker image-hello world
    CentOS7.9下安装完成docker后，我们开始部署第一个dockerimage-helloworld1.以root用户登录CentOS7.9服务器，拉取centos7images命令：dockerpullhello-world[root@centos79~]#dockerpullhello-worldUsingdefaulttag:latestlatest:Pullingfromlibrary/hello-world2db29......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99