首页 > 其他分享 >helm部署Kafka集群

helm部署Kafka集群

时间:2023-12-16 23:22:35浏览次数:38  
标签:kubectl name zookeeper Kafka 2181 集群 helm bitnami NAME

1.准备文件

1.1.创建命令空间

kubectl create ns kafka

1.1.helm包拉取本地

# 添加bitnami仓库
helm repo add bitnami https://charts.bitnami.com/bitnami
# 查询chart
helm search repo bitnami
# 拉取zookeeper
helm pull bitnami/zookeeper
# 解压
tar zxvf  zookeeper-12.0.0.tgz
#进入Zookeeper
cd zookeeper
# 查看包内容
ls
Chart.lock  charts  Chart.yaml  README.md  templates  values.yaml

1.1.修改values

vim values.yaml
extraEnvVars: 
  - name: TZ
    value: "Asia/Shanghai"
# 允许任意用户连接(默认开启),本地文件没有需要自己添加
allowAnonymousLogin: true
---
# 关闭认证(默认关闭)
auth:
  enable: false
---
# 修改副本数
replicaCount: 3
---
# 4. 配置持久化,按需使用
global:
  imageRegistry: ""
  imagePullSecrets: []
  storageClass: "nfs-storage"

1.3.创建zookeeper集群

#部署
helm install zookeeper -n kafka .
NAME: zookeeper
LAST DEPLOYED: Sat Dec 16 23:03:46 2023
NAMESPACE: zookeeper
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
CHART NAME: zookeeper
CHART VERSION: 12.0.0
APP VERSION: 3.9.0
​
** Please be patient while the chart is being deployed **
​
ZooKeeper can be accessed via port 2181 on the following DNS name from within your cluster:
​
    zookeeper.zookeeper.svc.cluster.local
​
To connect to your ZooKeeper server run the following commands:
​
    export POD_NAME=$(kubectl get pods --namespace zookeeper -l "app.kubernetes.io/name=zookeeper,app.kubernetes.io/instance=zookeeper,app.kubernetes.io/component=zookeeper" -o jsonpath="{.items[0].metadata.name}")
    kubectl exec -it $POD_NAME -- zkCli.sh
​
To connect to your ZooKeeper server from outside the cluster execute the following commands:
​
    kubectl port-forward --namespace zookeeper svc/zookeeper 2181:2181 &
    zkCli.sh 127.0.0.1:2181

1.3.1.查看资源状态

kubectl get  all -n  kafka
NAME              READY   STATUS    RESTARTS   AGE
pod/zookeeper-0   1/1     Running   0          64s
pod/zookeeper-1   1/1     Running   0          64s
pod/zookeeper-2   1/1     Running   0          64s
​
NAME                         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                      AGE
service/zookeeper            ClusterIP   10.105.92.34   <none>        2181/TCP,2888/TCP,3888/TCP   65s
service/zookeeper-headless   ClusterIP   None           <none>        2181/TCP,2888/TCP,3888/TCP   65s
​
NAME                         READY   AGE
statefulset.apps/zookeeper   3/3     65s
​
NAME                                                                            AGE
componentresourceconstraint.apps.kubeblocks.io/kb-resource-constraint-general   13d
​
#查看挂载状态,本地使用nfs作为持久化
 kubectl get  pvc -n  kafka
NAME               STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
data-zookeeper-0   Bound    pvc-8f76686a-5312-49bf-97e7-5fdf45dc99ce   8Gi        RWO            nfs-storage    17m
data-zookeeper-1   Bound    pvc-d72b2b5b-73dd-409a-8bea-487f1b72ec24   8Gi        RWO            nfs-storage    17m
data-zookeeper-2   Bound    pvc-e6ed9a7f-50b2-490d-b3b0-6b6476e60e53   8Gi        RWO            nfs-storage    17m

1.3.2.查看集群状态

#slave节点
root@k8s-master01:~/zookeeper# kubectl exec -it -n  kafka zookeeper-0 -- bash
I have no name!@zookeeper-0:/$ zkServer.sh status
/opt/bitnami/java/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/bitnami/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
I have no name!@zookeeper-0:/$
#master节点
root@k8s-master01:~/zookeeper# kubectl exec -it -n  kafka zookeeper-1 -- bash
I have no name!@zookeeper-1:/$ zkServer.sh status
/opt/bitnami/java/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/bitnami/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Cli
ent address: localhost. Client SSL: false.
Mode: leader
I have no name!@zookeeper-1:/$
#slave节点
root@k8s-master01:~/zookeeper# kubectl exec -it -n  kafka zookeeper-2 -- bash
I have no name!@zookeeper-2:/$ zkServer.sh status
/opt/bitnami/java/bin/java
ZooKeeper JMX enabled by default
Using config: /opt/bitnami/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
I have no name!@zookeeper-2:/$

标签:kubectl,name,zookeeper,Kafka,2181,集群,helm,bitnami,NAME
From: https://www.cnblogs.com/-k8s/p/17908556.html

相关文章

  • SQL Server 2019 非域&非集群环境创建Always On “只读扩展”
     SQLServer2019开始支持“read-scaleforanAlwaysOnavailabilitygroup”,中文翻译的很别扭,是"读取缩放",繁体版翻译为“读取级别”,其特点不依赖于windows的cluster集群以及域,简化了搭建操作步骤和前置条件,与传统的availabilitygroups类似,缺点是无法实现自动故障转移,本质......
  • Storm 集群的搭建及其Java编程进行简单统计计算
    一、Storm集群构建编写storm与zookeeper的yml文件 stormyml文件的编写具体如下:version:'2'services:zookeeper1:image:registry.aliyuncs.com/denverdino/zookeeper:3.4.8container_name:zk1.cloudenvironment:-SERVER_ID=1......
  • MongoDB中的分布式集群架构
    MongoDB中的分布式集群架构前言ReplicaSet副本集模式副本集写和读的特性Sharding分片模式分片的优势MongoDB分片的组件分片键chunk是什么分片的算法哈希分片范围分片总结参考MongoDB中的分布式集群架构前言前面我们了解了MongoDB中的索引,......
  • Redis集群
    集群由于数据量过大,单个Master复制集难以承担,因此需要对多个复制集进行集群,形成水平扩展每个复制集只负责存储整个数据集的一部分,这就是Redis的集群,其作用是提供在多个Redis节点间共享数据的程序集。Redis集群是一个提供在多个Redis节点间共享数据的数据集Redis集群可以......
  • Kafka日志压实算法
    概念介绍我们有时候可以把Kafka当作key、value数据库用(当然kafka中的消息可以不指定key)。__consumer_offsets这个topic的数据,就是典型的key、value数据。/usr/local/kafka2.8/bin/kafka-run-class.shkafka.tools.DumpLogSegments--deep-iteration--print-data-log--files......
  • Redis集群
    1.描述集群,即是RedisCluster。其由多个redis节点组成,redis数据保存在这些节点中。这些节点分为主节点和从节点:只有主节点负责读写请求和集群信息的维护,从节点只负责主节点数据和状态的复制。2.作用数据分区:redis集群是将数据分散存到多个节点中的。具体存到哪个节点是根绝数......
  • LVS负载均衡集群
    LVSCluster,集群,群集有多台主机构成,对外只表现为一个整体,只提供一个访问入口(域名或IP地址),相当于一台大型计算机特点:由堕胎主机构成,都干同一件事,对外展现为一个整体集群分类根据集群针对的目标差异,可分为三种类型负载均衡集群(LB)提高系统响应效率,处理更多的访问请求,减少响......
  • docker部署redis主从集群
    1、创建数据目录(logs目录要给权限,要不然会报错)mkdir-pv/data/redis/(data,logs}chmod777/data/redis/logs2、redis.conf配置文件-—-主从配置master节点配置cd/data/redisvimredis.confport6379bind0.0.0.0daemonizenoprotected-modenorequirepass123......
  • prometheus监控k8s集群信息(通过kubelet)
    prometheus监控k8s集群信息(通过kubelet)一、创建prometheus访问k8s权限账户(在k8s集群中操作)。1、在k8s集群中创建服务账户vimprometheus-sa.yamlapiVersion:v1kind:ServiceAccountmetadata:name:prometheus-sanamespace:monitor 2、创建集群角色......
  • 60道KafKa高频题整理(附答案背诵版)
    废话不多说,直接上干货简述什么是Kafka的Topic?Kafka的Topic是一个存储消息的逻辑概念,可以认为是一个消息集合。每条消息发送到Kafka集群的消息都有一个类别,这个类别就是Topic。物理上来说,不同的Topic的消息是分开存储的,每个Topic可以有多个生产者向它发送消息,也可......