首页 > 其他分享 >kafka监控工具之Kafka-Eagle部署与使用

kafka监控工具之Kafka-Eagle部署与使用

时间:2024-08-03 12:56:06浏览次数:17  
标签:Eagle cluster1 ke eagle kafka im ###################################### Kafka

官网资料

EFAK

https://docs.kafka-eagle.org/

前置部署

Kafka集群部署与使用-CSDN博客

Linux环境下部署MySQL8数据库-CSDN博客

安装步骤

1、上传解压

cd /usr/local/soft/

tar -zxvf kafka-eagle-web-1.3.7-bin.tar.gz

2、修改环境变量

vi /etc/profile

系统环境变量添加内容:

# kafka监控
export KE_HOME=/usr/local/soft/kafka-eagle-web-1.3.7
export PATH=$PATH:$KE_HOME/bin

使系统环境变量生效:

source /etc/profile

3、部署MySQL数据库

参考Linux环境下部署MySQL8数据库-CSDN博客 

在数据库中创建名为ke的数据库

4、配置参数

cd /usr/local/soft/kafka-eagle-web-1.3.7/conf/

修改system-config.properties文件,修改内容如下

######################################
# multi zookeeper&kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=hadoop100:2181,hadoop101:2181,hadoop102:2181

######################################
# zk client thread limit
######################################
kafka.zk.limit.size=25

######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048

######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka

######################################
# enable kafka metrics
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.sql.fix.error=false

######################################
# kafka sql topic records max
######################################
kafka.eagle.sql.topic.records.max=5000

######################################
# alarm email configure
######################################
kafka.eagle.mail.enable=false
[email protected]
[email protected]
kafka.eagle.mail.password=mqslimczkdqabbbh
kafka.eagle.mail.server.host=smtp.163.com
kafka.eagle.mail.server.port=25

######################################
# alarm im configure
######################################
#kafka.eagle.im.dingding.enable=true
#kafka.eagle.im.dingding.url=https://oapi.dingtalk.com/robot/send?access_token=

#kafka.eagle.im.wechat.enable=true
#kafka.eagle.im.wechat.token=https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=xxx&corpsecret=xxx
#kafka.eagle.im.wechat.url=https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=
#kafka.eagle.im.wechat.touser=
#kafka.eagle.im.wechat.toparty=
#kafka.eagle.im.wechat.totag=
#kafka.eagle.im.wechat.agentid=

######################################
# delete kafka topic token
######################################
kafka.eagle.topic.token=keadmin

######################################
# kafka sasl authenticate
######################################
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=PLAIN
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="kafka-eagle";

cluster2.kafka.eagle.sasl.enable=false
cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster2.kafka.eagle.sasl.mechanism=PLAIN
cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="kafka-eagle";

######################################
# kafka jdbc driver address
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://hadoop100:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=root123

核心修改内容(集中在前五行和后五行)

kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=hadoop100:2181,hadoop101:2181,hadoop102:2181

kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://hadoop100:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=root123

5、启动与关闭

给ke.sh赋予可执行权限

cd/usr/local/soft/kafka-eagle-web-1.3.7/bin/
chmod +x ke.sh

启动与查看 

ke.sh start
ke.sh status
ke.sh stop

自动生成用户名和密码,如上图 admin  123456

注:

ke命令如下,可以直接输入ke.sh查看

ke.sh {start|stop|restart|status|stats|find|gc|jdk}
 

6、查看

浏览器输入 http://192.168.1.100:8048/ke,用户名和密码启动的时候已生成

参考资料

https://blog.51cto.com/u_11529070/9210756

百度安全验证

标签:Eagle,cluster1,ke,eagle,kafka,im,######################################,Kafka
From: https://blog.csdn.net/taogumo/article/details/140884741

相关文章

  • 【Apache Kafka深入】Kafka集群的配置与管理
    ApacheKafka深入Kafka集群的配置与管理引言ApacheKafka是一种分布式流处理平台,主要用于实时数据流的处理和传输。由于其高吞吐量、低延迟、容错性和持久性,Kafka被广泛应用于日志收集、消息系统、流处理、监控数据等领域。本文将详细介绍Kafka集群的配置与管理,帮助......
  • 集群使用Kafka
    创建Kafka启动脚本ZooKeeper为Kafka提供了集群管理、分布式协调、配置管理和高可用性等关键服务,Kafka启动之前需要先zkServer.shstart。Kafka2.8.0版本开始引入了自身的内部元数据管理机制(KRaft模式),以逐步替代ZooKeeper。kafka/bin目录下,例如/usr/local/soft/kafka-1.0......
  • helm部署Kafka集群
    生产环境推荐的kafka部署方式为operator方式部署,Strimzi是目前最主流的operator方案。集群数据量较小的话,可以采用NFS共享存储,数据量较大的话可使用localpv存储。部署operator[root@k8s-master3101-kafka]#helmrepoaddstrimzihttps://strimzi.io/charts/"strimzi"has......
  • 在淘客返利系统中使用Kafka实现事件驱动架构
    在淘客返利系统中使用Kafka实现事件驱动架构大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!今天我们来探讨如何在淘客返利系统中使用Kafka实现事件驱动架构,以提高系统的可扩展性和灵活性。一、什么是事件驱动架构事件驱动架构(Event-DrivenArchit......
  • 使用 Python 生产者和消费者在 Kubernetes minikube 上设置 Kafka Kraft
    我正在尝试从kubernetes集群外部连接到kubernetesminikubekafkapod。服务器启动没有任何问题,但我无法设法将本地kafka生产者/消费者连接到外部kafkapod。在集群内的kafka服务器映像上,我将bootstrap-server设置为:bin/kafka-topics.sh--create--bootst......
  • kafka实际应用
    JavaMQ在实际业务场景中需要注意的问题消息丢失:发送方丢失:未存储到kafka,由于leader切换导致的丢失消费方丢失:拉取到消息提交后尚未实际消费完成即异常了,导致拉取到的消息没有实际消费重复消费:多个消费者消费同一partition提交时覆盖问题导致的重复顺序消费:partit......
  • kafka消息队列的优化
    kafka​消息队列,内是列表,列表的每个节点就是消息,有序号,offset指代对于消息队列的优化1.高性能:(1)对消息进行分类,每一类是一个topictopic1,topic2......,增加多个消费者,生产者(2)生产者将数据按照topic投递到不同的队列中消费者根据需要订阅不同的topic这样就降低了t......
  • go高并发之路——消息中间件kafka(上)
    一般高并发的业务都是某个时间段的请求量特别大,比如本人负责的直播业务,基本上一天就两个高峰段:早上和晚上的特定时间段。其它的时间里,流量基本都比较平稳。那么面对流量高峰,我们可以采取哪些措施呢?常见的有服务器和DB提前扩容、监控告警(盯监控)、流量削峰、加缓存、网关限流、服务......
  • debezium source端同步海量数据库数据vastbase到kafka
    debeziumsource端同步海量数据库数据vastbase到kafkaOriginal 韦家富 心流时刻  2024年01月30日15:17 北京本文用于debeziumsource端同步海量vastbase数据库的数据到kafka,sink端同理。 1、基础环境安装 1、kafka2、zookeeper3、海量数据库vastbase 自行......
  • Kafka的人工智能与机器学习应用
    Kafka的人工智能与机器学习应用作者:禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来随着互联网的快速发展,数据量呈爆炸式增长,如何高效地处理和分析这些数据成为了企业和研究机构面临的挑战。Kafka作为一款高吞吐量的分布式......