首页 > 系统相关 >centos7-docker安装与配置kafka+zookeeper+kafkamanager

centos7-docker安装与配置kafka+zookeeper+kafkamanager

时间:2023-06-19 11:33:06浏览次数:53  
标签:-- zookeeper tcp kafka centos7 docker data

一、默认docker环境已经OK

拉镜像

docker pull wurstmeister/zookeeper

docker pull wurstmeister/kafka

docker pull sheepkiller/kafka-manager

删镜像

docker rmi +镜像id

查看镜像

[root@build-science-system-services-03 ~]# docker images

二、运行相关容器

启动zookeeper:

docker run -d --name zookeeper -p 2191:2181 --restart=always wurstmeister/zookeeper

 

启动kafka:

docker run -d --name kafka -p 9082:9092 --link zookeeper:zookeeper --env KAFKA_BROKER_ID=100 --env HOST_IP=192.168.100.202 --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=192.168.100.202 --env KAFKA_ADVERTISED_PORT=9082 --restart=always wurstmeister/kafka

启动kafka-manager:

docker run -d --name kafka-manager -p 9000:9000 \

--link zookeeper:zookeeper --link kafka:kafka --env ZK_HOSTS=zookeeper:2181 \

--restart=always sheepkiller/kafka-manager

三、Kafka tool连接

生产kafka使用了SASL

 

 

 

四、Kafka-manager

 

 

Docker命令理解和注意事项

 

docker run -p 2191:2181 -v /data/zookeeper/data:/data -v /data/zookeeper/datalog:/datalog -v /data/zookeeper/conf:/conf --name some-zookeeper --restart always -d zookeeper

 

外面为2191端口,docker里为2181端口,外面数据目录为/data/zookeeper/data,里面数据目录为/data(先进docker看:docker exec -it some-zookeeper bash,其中some-zookeeper为镜像名,进docker里面看具体的目录路径是多少再填到冒号后面,同时给前面的赋权)

[root@build-science-system-services-03 zookeeper]# docker logs -f some-zookeeper     (查看some-zookeeper这个容器的日志)

/docker-entrypoint.sh: line 43: /conf/zoo.cfg: Permission denied

ZooKeeper JMX enabled by default

Using config: /conf/zoo.cfg

cd /data/zookeeper

chmod 777 * 

然后再重新启动

挂载出来到linux的路径修改配置文件,会同步映射修改docker中的配置

 

强制删除容器

[root@build-science-system-services-03 zookeeper]# docker ps

CONTAINER ID   IMAGE                         COMMAND                  CREATED         STATUS         PORTS                                                                     NAMES

558dbe4b9657   zookeeper                     "/docker-entrypoint.…"   9 minutes ago   Up 8 minutes   2888/tcp, 3888/tcp, 8080/tcp, 0.0.0.0:2191->2181/tcp, :::2191->2181/tcp   some-zookeeper

a74e70f5d5d0   xuxueli/xxl-job-admin:2.3.0   "sh -c 'java -jar $J…"   10 days ago     Up 10 days     0.0.0.0:8889->8080/tcp, :::8889->8080/tcp                                 xxl-job-admin

ae305e009774   mysql:5.7                     "docker-entrypoint.s…"   10 days ago     Up 10 days     0.0.0.0:3306->3306/tcp, :::3306->3306/tcp, 33060/tcp                      mysql

[root@build-science-system-services-03 zookeeper]# docker rm -f 558dbe4b9657

部分参考:https://blog.51cto.com/zyrs/2747202

标签:--,zookeeper,tcp,kafka,centos7,docker,data
From: https://www.cnblogs.com/CarlJohnson9527/p/17490742.html

相关文章

  • kafka常用命令
    转 https://www.cnblogs.com/xgss/articles/16580433.html 1启动zookeeperbin/zookeeper-server-start.shconfig/zookeeper.properties 2启动kafkabin/kafka-server-start.shconfig/server.properties多个kafka的话,在各个虚拟机上运行kafka启动命令多次即......
  • Zookeeper入门实战(5)-分布式锁
    在分布式环境中,当需要控制对某一资源的不同进程并发访问时就需要使用分布式锁;可以使用 ZooKeeper+Curator来实现分布式锁,本文主要介绍 Curator中分布式锁的使用,文中所使用到的软件版本:Java1.8.0_341、Zookeeper3.7.1、curator5.4.0。1、引入依赖<dependency><groupId......
  • 聊聊Zookeeper的Session会话超时重连
    概述简单地说,ZooKeeper的连接与会话就是客户端通过实例化ZooKeeper对象来实现客户端与服务器创建并保持TCP连接的过程。本质上,Session就是一个TCP长连接。会话Session会话的作用:ZKServer执行任何请求之前,都需要Client与Server先建立Session;Client提交给Server的......
  • CentOS7.9 k8s集群环境搭建
    环境搭建本次环境搭建需要安装三台Centos服务器(一主二从),k8s采用1.25.4版本主机安装安装虚拟机过程中注意下面选项的设置:操作系统环境:CPU(2C)内存(4G)硬盘(50G)语言选择:English软件选择:基础设施服务器分区选择:自动分区网络配置:按照下面配置网路地址信息主机名设置:按照下面信......
  • SpringBoot整合Kafka
    第一步: 第二步: 第三步:  ......
  • kafka的启动--windows版
    首先下载并安装kafka然后进入到安装目录输入cmd然后先启动zookeerper输入下面的命令zookeeper-server-start.bat../../config/zookeeper.properties再启动kafka,输入下面命令kafka-server-start.bat../../config/server.properties已完成启动!! ......
  • kafka工作原理
    1.工作流程以及文件存储机制 kafka中的消息是以topic进行分类的,生产消费消息都是面向topic。 topic是逻辑上的概念,partition分区是物理上的概念,每个分区对应一个log文件,该log文件存储的就是producer生产的log数据。producer生产的数据会追加到文件末端。消费者组中的每个消费......
  • Windows中安装和使用Kafka
    ......
  • Centos7 yum部署单机kubernetes集群
    kubernetes有多种部署方式,目前主流的方式有kubeadm、minikube、二进制包minikube:一个用于快速搭建单节点kubernetes的工具kubeadm:一个用于快速搭建kubernetes集群的工具二进制包:从官网下载每个组件的二进制包,依次去安装,此方式对于理解kubernetes组件更加有效一、Minikube1......
  • Centos7 linux定时任务
    1、参考CentOS7定时任务crontab入门Centos利用crontab定时执行任务及配置方法2、crontab-l#查看当前用户定时任务crontab-e#编辑当前用户定时任务#prodbackupdatabase02***cd/data/xxx&&/usr/bin/shxxx_backup.sh#prodautoupdatemanageco......