首页 > 其他分享 >kafka

kafka

时间:2024-03-29 20:02:08浏览次数:17  
标签:rtvt name app value KAFKA kafka

#如果要部署3节点机器,请修改序号,并部署3个sts
kind: StatefulSet apiVersion: apps/v1 metadata: name: rtvt-kafka-1 namespace: rtvt-app labels: app: rtvt-kafka app.kubernetes.io/name: rtvt-kafka app.kubernetes.io/version: v1 version: v1 annotations: kubesphere.io/creator: admin spec: replicas: 1 selector: matchLabels: app: rtvt-kafka app.kubernetes.io/name: rtvt-kafka app.kubernetes.io/version: v1 version: v1 template: metadata: creationTimestamp: null labels: app: rtvt-kafka app.kubernetes.io/name: rtvt-kafka app.kubernetes.io/version: v1 version: v1 annotations: kubesphere.io/creator: admin spec: containers: - name: kafka image: 'harbor-cn.ilivedata.com/test/kafka:3.7.0' ports: - name: tcp-9092 containerPort: 9092 protocol: TCP - name: tcp-9093 containerPort: 9093 protocol: TCP env: - name: LC_ALL value: C.UTF-8 - name: SSL_CERT_DIR value: /etc/ssl/certs - name: KAFKA_NODE_ID value: '1' - name: KAFKA_ADVERTISED_LISTENERS value: 'PLAINTEXT://rtvt-kafka-1-0.rtvt-kafka:9092' - name: KAFKA_ZOOKEEPER_CONNECT value: 'null' - name: KAFKA_LISTENERS value: 'PLAINTEXT://:9092,CONTROLLER://:9093' - name: KAFKA_LISTENER_SECURITY_PROTOCOL_MAP value: >- CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL - name: KAFKA_PROCESS_ROLES value: 'broker,controller' - name: KAFKA_CONTROLLER_LISTENER_NAMES value: CONTROLLER - name: KAFKA_INTER_BROKER_LISTENER_NAME value: PLAINTEXT - name: KAFKA_CONTROLLER_QUORUM_VOTERS value: >- [email protected]:9093,[email protected]:9093,[email protected]:9093 - name: KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR value: '3' - name: KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR value: '3' - name: KAFKA_TRANSACTION_STATE_LOG_MIN_ISR value: '1' - name: KAFKA_LOG_DIRS value: /tmp/kraft-combined-logs resources: {} terminationMessagePath: /dev/termination-log terminationMessagePolicy: File imagePullPolicy: IfNotPresent restartPolicy: Always terminationGracePeriodSeconds: 30 dnsPolicy: ClusterFirst securityContext: {} schedulerName: default-scheduler serviceName: rtvt-kafka podManagementPolicy: OrderedReady updateStrategy: type: RollingUpdate rollingUpdate: partition: 0 revisionHistoryLimit: 10

 

标签:rtvt,name,app,value,KAFKA,kafka
From: https://www.cnblogs.com/putaoo/p/18104503

相关文章

  • kafka基本概念学习
    使用场景消息队列:削峰,解耦(服务间调用从直接的rpc、http调用改为主动拉取)技术对比类似技术方案:rabbitMQ、memcache、rocketMQkafka优点高吞吐量:单机每秒处理几十上百万的消息量。即使存储了TB及消息,也保持稳定的性能。零拷贝 减少内核态到用......
  • kafka维护
    1,检测参考:https://kafka-python.readthedocs.io/en/master/apidoc/KafkaClient.htmlfromkafka.adminimportKafkaAdminClient,NewTopicfromkafkaimportKafkaProducerfromkafkaimportKafkaConsumerfromkafkaimportKafkaClientimporttime#配置Kafka集群信息......
  • Golang操作kafka遇到网络问题重试的案例
    草稿0、实际中会遇到网络抖动会导致消费者有一小段时间与kafka连接遇到问题~0、如何模拟网络问题?本地跑多个kafka实例直接关掉其中一个kafka服务??怎么模拟断网??1、kafka-go与sarama都演示一下2、一个consumer消费一个topic的例子;模拟网络问题可以把kafka服务关了~观察一下再开启k......
  • 云原生最佳实践系列 5:基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操
    方案概述在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML 操作。当Kafka......
  • 【Canal】Canal+Kafka实现数据同步
    canal介绍参考:【Canal】Canal快速入门Kafka准备参考:【Kafka】Kafka安装(一) + 【Kafka】Kafka-UI安装启动canal-server参考:https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart下载canal,访问 release页面 ,选择需要的包下载,如......
  • kafka命令工具创建查看topic信息
    转载:https://www.jianshu.com/p/6cf6c7f208c9 1、创建topic./bin/kafka-topics.sh--bootstrap-serverlocalhost:9092--create--topicfirst--partitions1--replication-factor1./bin/kafka-topics.sh--create--bootstrap-serverlocalhost:9092--replication-fa......
  • 推荐一个kafka可视化客户端GUI工具(Kafka King)
    KafkaKing,比较新,只需要填写kafka连接地址就行,不需要什么zookeeper。支持的功能也多:查看集群节点列表(完成)创建主题(支持批量)、删除主题、支持根据消费者组统计每个topic的消息积压量(完成)支持查看topic的分区的详细信息,并为主题添加额外的分区(完成)支持查看每个分区的消息offse......
  • win10 docker zookeeper和kafka搭建
    好久没用参与大数据之类的开发了,近日接触到一个项目中使用到kafka,因此要在本地搭建一个简易的kafka服务。时间比较紧急,之前有使用docker的经验,因此本次就使用docker来完成搭建。在搭建过程中出现的一些问题,及时记录,以便后期再遇见。环境计算机环境:win1022H2dockerVersio......
  • 实时数仓之Flink消费kafka消息队列数据入hbase
    一、流程架构图 二、开源框架及本版选择    本次项目中用到的相关服务有:hadoop、zookeeper、kafka、maxwell、hbase、phoenix、flink   三、服务部署完成后,开发Flink主程序  3.1结构图如下:      3.2代码详细内容  3.2.1pom文件<?xml......
  • Kafka Connect 自定义Sink Connector实现在数据同步时增加时间戳字段和假删除功能
    1.情景展示以debezium为例,结合kafka很容易就能实现两个数据库表与表之间的数据同步问题。但是,现在甲方有这样的需求:其一,在源表数据同步至目标表时,目标表增加一个时间戳字段(就是我们通常意义上讲的last_update_time),无论是insert还是update操作,都在此字段插入系统当前时间。用......