首页 > 其他分享 >k8s部署elk+filebeat+kafka-kraft模式集群(二)kafka-zk集群

k8s部署elk+filebeat+kafka-kraft模式集群(二)kafka-zk集群

时间:2022-09-29 15:00:07浏览次数:53  
标签:elk protocol name zk kafka 2181 集群

kafka-zookeeper集群部署

zk使用官方镜像,版本为3.5
本文跳过rbac之类配置,与前文相同

# cat zk-statefulset.yaml

apiVersion: v1
kind: Service
metadata:
  name: zk-svc
  namespace: elk
  labels:
    app: zk-cluster-svc
spec:
  selector:
    app: zookeeper-3.5
  type: ClusterIP
  clusterIP: None
  #publishNotReadyAddresses: true
  sessionAffinity: ClientIP
  ports:
  - name: clientport
    port: 2181
    protocol: TCP
    targetPort: 2181
  - name: select-port
    port: 3888
    protocol: TCP
    targetPort: 3888
  - name: leader-port
    port: 2888
    protocol: TCP
    targetPort: 2888
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: zk-statefulset
  namespace: elk
spec:
  podManagementPolicy: OrderedReady
  replicas: 3
  selector:
    matchLabels:
      app: zookeeper-3.5
  serviceName: zk-svc
  template:
    metadata:
      name: zk
      namespace: elk
      labels:
        app: zookeeper-3.5
    spec:
      containers:
      - name: kafka
        image: 3.127.33.174:8443/elk/zookeeper:3.5
        imagePullPolicy: IfNotPresent
        resources:
          limits:
            memory: "1Gi"
            cpu: "256m"
        env:
        - name: NODE_ID
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: ZOO_SERVERS
          value: server.0=zk-statefulset-0.zk-svc:2888:3888;2181 server.1=zk-statefulset-1.zk-svc:2888:3888;2181 server.2=zk-statefulset-2.zk-svc:2888:3888;2181
        - name: ZOO_TICK_TIME
          value: "10000"
        - name: ZOO_DATA_LOG_DIR
          value: /data/log
        args: ["/bin/sh","-c","echo 'clientPort=2181' >> /conf/zoo.cfg; echo ${HOSTNAME##*-} > /data/myid; ./bin/zkServer.sh start-foreground"]
        ports:
        - name: clientport
          containerPort: 2181
          protocol: TCP
        - name: leaderport
          containerPort: 2888
          protocol: TCP
        - name: select-leader
          containerPort: 3888
          protocol: TCP
 volumeMounts:
        - name: zk-cluster-claim
          mountPath: /data
        - name: timezone
          mountPath: /etc/localtime
        livenessProbe:
          periodSeconds: 30
          tcpSocket:
            port: 2181
      volumes:
      - name: timezone
        hostPath:
          path: /etc/localtime
      tolerations:
      - key: node-role.kubernetes.io
        effect: NoSchedule
        operator: Equal
        value: master
      - effect: NoSchedule
        operator: Exists
      affinity:
        nodeAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 1
            preference:
              matchExpressions:
              - key: node
                operator: In
                values:
                - master1
                - node1
  volumeClaimTemplates:
  - metadata:
      name: zk-cluster-claim
      namespace: elk
    spec:
      accessModes:
      - ReadWriteMany
      resources:
        limits:
          storage: 5Gi
      storageClassName: zk-managed-nfs-storage
  updateStrategy:
    type: RollingUpdate

[root@k8s-master01 kafka-zk]# kubectl get pods -n elk | grep zk
1664434686097.jpg

标签:elk,protocol,name,zk,kafka,2181,集群
From: https://www.cnblogs.com/precomp/p/16741595.html

相关文章

  • k8s部署elk+filebeat+kafka-kraft模式集群(一)ES集群+kibana部署
    前言:这次是在部署后很久才想起来整理了下文档,如有遗漏见谅,期间也遇到过很多坑有些目前还没头绪希望有大佬让我学习下一、环境准备k8s-master013.127.10.209k8s-ma......
  • Postgres-XL集群软件介绍及搭建
    介绍Postgres-XLPostgres-XL全称为PostgreseXtensibleLattice,是TransLattice公司及其收购数据库技术公司–StormDB的产品。Postgres-XL是一个横向扩展的开源数据库集群,......
  • Docker部署SQL Server 2019 Always On集群
    Docker部署Alwayson集群SQLServer在2016年开始支持Linux。随着2017和2019版本的发布,它开始支持Linux和容器平台上的HA/DR、Kubernetes和大数据集群解决方案。在本文中,我们......
  • Docker基础知识 (13) - 部署 MariaDB 集群 (一) | 主从复制
    MariaDB数据库是MySQL的一个分支,主要由开源社区维护,采用GPL授权许可MariaDB的目的是完全兼容MySQL,包括API和命令行,使之能轻松成为MySQL的代替品。在存储引擎方......
  • Docker搭建kafka及监控
    环境安装docker安装yumupdateyuminstalldocker#启动systemctlstartdocker#加入开机启动systemctlenabledocker#检查是否启动dockerversion#测试......
  • Kafka常用命令
    启动Kafka后台常驻方式,带上参数 -daemon,如:/usr/local/kafka/bin/kafka-server-start.sh-daemon/usr/local/kafka/config/server.properties指定JMXport端口启......
  • 我的 Kafka 旅程 - 文件存储机制
    存储机制Topic在每个Broker下存储所属的Partition,Partition下由Index、Log两类文件组成。写入Log由多个Segment文件组成,每个Segment文件容量最多为1GB,接收到的新......
  • 一文搞懂Kafka,在项目里面更加得心应手的使用
    大家好,又见面了。Apachekafka是主流的消息中间件的一种,本文对kafka的相关概念、原理、使用关键注意事项等进行总结说明。1.kafka关键概念与术语1.1简单的例子说明kafk......
  • kafka 从入门到了解
    点击上方蓝字关注我们!什么是kafkaApacheKafka是Apache软件基金会的开源的流处理平台,该平台提供了消息的订阅与发布的消息队列,一般用作系统间解耦、异步通信、削峰填谷等作......
  • k8s集群上 docker 镜像编译
    因工作需要,在k8s集群上程序构建镜像。调研了dockerindocker方案。见链接。https://applatix.com/case-docker-docker-kubernetes-part-2/怎么都感觉不够智能,而且有点......