首页 > 其他分享 >Docker安装zookeeper(zookeeper-latest)与Kafka(kafka-latest)

Docker安装zookeeper(zookeeper-latest)与Kafka(kafka-latest)

时间:2024-09-06 20:52:04浏览次数:9  
标签:zookeeper kafka sh docker KAFKA latest

一、Docker安装zookeeper

1.准备工作

(1)进入文件夹 docker

cd /usr/local/docker/

(2) 创建一个网络

# app-tier:网络名称 # –driver:网络类型为bridge

docker network create app-kafka --driver bridge

(3)在docker创建zookeeper文件夹

//创建文件夹

mkdir zookeeper

//进入

cd zookeeper/

2.创建容器

(1)创建文件

vim startZk.sh

(2)拉入配置

docker run -d --name zookeeper-server \
-p 2181:2181 \
--network app-kafka \
-e ALLOW_ANONYMOUS_LOGIN=yes \
bitnami/zookeeper:latest

保存退出

//强制保存退出 
:wq!

//保存退出 
:wq

(3)拉取Zookeeper镜像

docker pull bitnami/zookeeper:latest

(4)权限赋予与启动脚本

//权限赋予
chmod -R 777 startZk.sh

//启动脚本
./startZk.sh

查看容器

二、Docker安装kafka

1.准备工作

(1)进入文件夹 docker

cd /usr/local/docker/

(2)在docker创建kafka文件夹

//创建文件夹

mkdir kafka

//进入

cd kafka/

2.创建容器

(1)创建文件

vim startKafka.sh

(2)拉入配置

# 安装并运行Kafka,

# –name:容器名称

# -p:设置映射端口(默认9092 )

# -d:后台启动

# ALLOW_PLAINTEXT_LISTENER任何人可以访问

# KAFKA_CFG_ZOOKEEPER_CONNECT链接的zookeeper

# KAFKA_ADVERTISED_HOST_NAME当前主机IP或地址(重点:如果是服务器部署则配服务器IP或域名否则客户端监听消息会报地址错误)

# -e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://123.60.133.141:9092 这个IP一定要是外网IP,不要设置为内网IP

docker run -d --name kafka-server \
--network app-kafka \
-p 9092:9092 \
-e ALLOW_PLAINTEXT_LISTENER=yes \
-e KAFKA_ADVERTISED_HOST_NAME=123.60.133.141 \
-e KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper-server:2181 \
-e KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://123.60.133.141:9092 \
-e KAFKA_HEAP_OPTS="-Xmx256M -Xms256M" \
bitnami/kafka:latest

注:ip地址记得改

保存退出

//强制保存退出

:wq!

//保存退出

:wq

3.下载镜像

docker pull bitnami/kafka:latest

4.权限赋予与启动脚本

//权限赋予

chmod -R 777 startKafka.sh

//启动脚本

./startKafka.sh

查看容器

三、云服务开启端口

注:本地虚拟机安装不需要执行

标签:zookeeper,kafka,sh,docker,KAFKA,latest
From: https://blog.csdn.net/cmh1008611/article/details/141968506

相关文章

  • Kafka的三高设计原理
    1.生产者缓存机制--高性能生产者缓存机制的主要目的是将消息打包,减少网络IO频率kafka生产者端存在消息累加器RecordAccumulator,它会对每个Partition维护一个双端队列,队列中消息到达一定数量后或者到达一定时间后,通过sender线程批量的将消息发送给kafka服务端。(批量发送)2.......
  • 深入探索Java中的分布式锁服务与Zookeeper集成
    引言在分布式系统中,资源竞争是一个不可避免的问题。为了确保多个机器或进程在访问共享资源时不发生冲突,我们需要一种有效的锁机制。分布式锁服务正是为了解决这个问题而设计的,而Zookeeper作为一种强大的分布式协调服务,可以帮助我们实现这种分布式锁服务。为什么选择Zookeeper......
  • kafka安装配置、以及遇到闪退问题的解决办法
    一、Kafka对于zookeeper是强依赖,保存kafka相关的节点数据,所以安装Kafka之前必须先安装zookeeper详细安装过程参见这位大神写的博客windows系统kafka小白入门篇——下载安装,环境配置,入门代码书写_windowskafka-CSDN博客 注:解压包尽量放在磁盘根目录下,避免发生启动失败问......
  • 异源数据同步 → DataX 为什么要支持 kafka?
    开心一刻昨天发了一条朋友圈:酒吧有什么好去的,上个月在酒吧当服务员兼职,一位大姐看上了我,说一个月给我10万,要我陪她去上海,我没同意朋友评论道:你没同意,为什么在上海?我回复到:上个月没同意前情回顾关于DataX,官网有很详细的介绍,鄙人不才,也写过几篇文章异构数据源同步之数据同步→da......
  • 【大数据】Kafka与RocketMQ:消息队列界的“绝代双骄”
    文章目录一、开场白:消息队列江湖的“风云际会”二、正文1.Kafka与RocketMQ的由来:两颗璀璨的明星2.发展历程:各自的成长轨迹3.区别:各有千秋,各领风骚4.使用场景:谁的主场,谁的地盘?5.如何选择:挑花了眼怎么办?6.市场占用情况:谁更受欢迎?三、结尾:携手共创,消息队列的未来......
  • python操作kafka
    一、参考阿里云的官方链接:        使用PythonSDK接入Kafka收发消息_云消息队列Kafka版(Kafka)-阿里云帮助中心二、安装python环境  三、添加python依赖库pipinstallconfluent-kafka==1.9.2四、新建一个setting.py文件配置信息kafka_setting={'sas......
  • Apache zookeeper kafka 开启SASL安全认证_kafka开启认证
    如果使用PLAIN认证有个问题,就是不能动态新增用户,每次添加用户后,需要重启正在运行的Kafka集群才能生效。因此,在生产环境中,这种认证方式不符合实际业务场景,不利于后期扩展。然而使用SCRAM认证,可以动态新增用户,添加用户后,可以不用重启正在运行的Kafka集群即可进行鉴权。所以生产环境......
  • kafka基础知识(持续更新中~)
    #broker.id属性在kafka集群中必须要是唯⼀broker.id=0#kafka部署的机器ip和提供服务的端⼝号listeners=PLAINTEXT://192.168.65.60:9092#kafka的消息存储⽂件log.dir=/usr/local/data/kafka-logs#kafka连接zookeeper的地址zookeeper.connect=192.168.65.60:2181./......
  • Kafka 常用的传输和序列化数据方式
    Kafka常用的传输和序列化数据方式。不同的方式有不同的优缺点,选择哪种方式通常取决于具体的应用场景、性能要求、数据兼容性需求等。以下是几种常见的方式,包括:1.ProtoBuf(ProtocolBuffers)概述:ProtoBuf是Google开发的一种语言中立、平台中立的高效二进制序列化格......
  • 一场 Kafka CRC 异常引发的血案rD
    一、问题概述客户的生产环境突然在近期间歇式的收到了KafkaCRC的相关异常,异常内容如下Recordbatchforpartitionskywalking-traces-0atoffset292107075isinvalid,cause:Recordiscorrupt(storedcrc=1016021496,computecrc=1981017560)JAVA复制全屏报错......