首页 > 其他分享 >Kubernetes kafka系列 | Strimzi 部署kafka-bridge

Kubernetes kafka系列 | Strimzi 部署kafka-bridge

时间:2024-04-01 23:58:06浏览次数:25  
标签:bridge Kubernetes strimzi 应用程序 Kafka io kafka

Strimzi +kafka集群部署直通车
一、kafka bridge 介绍
Kafka Bridge 是 Apache Kafka 生态系统中的一个工具或组件,用于实现 Kafka 与其他系统或协议之间的通信或集成。Kafka 本身是一个分布式事件流平台,广泛用于构建实时数据流水线和流式应用程序。然而,并非所有系统或应用程序都可能与 Kafka 的协议兼容或直接交互。

Kafka Bridge 充当中介或适配器,允许非 Kafka 应用程序与 Kafka 集群进行通信。它通常提供以下功能:

协议转换:将来自 Kafka 协议的消息转换为目标系统理解的另一种协议,反之亦然。
API 端点:公开 HTTP 或其他网络端点,供非 Kafka 应用程序与 Kafka 交互。
安全集成:实施身份验证和授权等安全措施,以访问 Kafka。
负载均衡:将外部应用程序的传入请求分发到多个 Kafka broker 上。
监控与管理:提供用于监控 Kafka Bridge 本身以及与 Kafka 集群的连接的健康状况和性能的工具。
通过使用 Kafka Bridge,组织可以将 Kafka 与各种系统、数据库或应用程序集成,而无需直接支持 Kafka 的协议,从而实现更灵活、可扩展的数据架构。
在这里插入图片描述
通过http接口来生产和消费kafka消息
官网:kafka bridge

二、部署

kafka-bridge.yaml

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaBridge
metadata:
  name: my-bridge
spec:
  replicas: 3
  bootstrapServers: my-cluster-kafka-bootstrap:9092   #kafka service
  http:
    port: 8080

bridge-service-nodeport.yaml

apiVersion: v1
kind: Service
metadata:
  name: bridge-nodeport
spec:
  type: NodePort
  ports:
  - port: 8080
    nodePort: 31331
  selector:
    strimzi.io/cluster: my-bridge
    strimzi.io/kind: KafkaBridge
    strimzi.io/name: my-bridge-bridge

curl -X GET http://10.10.101.166:31331/topics #根据地址和暴露端口就可以获取 topics

有建议请留言

标签:bridge,Kubernetes,strimzi,应用程序,Kafka,io,kafka
From: https://blog.csdn.net/weixin_48711696/article/details/137250795

相关文章

  • 解析Apache Kafka:在大数据体系中的基本概念和核心组件
    关联阅读博客文章:探讨在大数据体系中API的通信机制与工作原理关联阅读博客文章:深入解析大数据体系中的ETL工作原理及常见组件关联阅读博客文章:深度剖析:计算机集群在大数据体系中的关键角色和技术要点关联阅读博客文章:深入理解HDFS工作原理:大数据存储和容错性机制解析引......
  • 云原生周刊:Kubernetes 1.30 的一切新功能 | 2024.4.1
    开源项目推荐Kubernetesschedulersimulator该项目是一个用于模拟Kubernetes调度器行为的开源项目,可用于测试和评估调度器的性能和行为。它提供了一个模拟集群和调度器的框架,并提供分析和可视化工具以帮助用户理解实验结果。OneChart该项目旨在简化应用程序的部署过程,通过......
  • 第 1 章 Kubernetes 介绍
    应用部署方式的演变历史传统部署方式概念直接将应用程序部署在物理机上优点简单,不需要其它技术的参与缺点不能为应用程序定义资源使用边界,很难合理地计算分配资源,程序之间容易产生影响虚拟化部署方式概念在一台物理机上运行多个虚拟机,每个虚拟机都是独立的......
  • 二进制部署kafka-eagle(kafka可视化组件)
    部署kafka-eagle下载地址:https://github.com/smartloli/kafka-eagle-bin/archive/v3.0.1.tar.gz依赖:  需要数据库和jdk环境来做数据的存储,可以参考之前的文档      部署数据库:https://www.cnblogs.com/Direction-of-efforts/p/17810459.html      部......
  • 二进制部署kafka
    部署KAFKA集群机器:eks-zk-kafka00110.0.0.41eks-zk-kafka00210.0.0.42eks-zk-kafka00310.0.0.43初始化单机环境#关闭防火墙systemctldisable--nowfirewalldsystemctldisable--nowdnsmasqsystemctldisable--nowNetworkManager#关闭selinuxseten......
  • Kafka理论知识总结
    参考文献:基本概念:https://zhuanlan.zhihu.com/p/392568942可靠传输:https://www.zhihu.com/question/483747691/answer/2392949203kafka基本概念?kafka有逻辑分区叫做topic,每个topic可以设置多个partition物理分区,每个物理分区可以设置一个或多个副本。生产者producer将数据推......
  • kafka部署配置与启停
    一、部署kafkadeploy-kafka.sh#!/bin/bash//需要首先修改正确的集群机器ipserver1="host1"server2="host2"server3="host3"//每台机器设置一个独立的indexidSERVER_INDEX="1"if[-f"kafka_2.13-3.7.0.tgz"];thenecho"文件存在......
  • 从零实战本地服务器部署 Docker 安装 ThingsBoard PE 专业版(适用于Cassandra + Kafka
    目录1、准备工作2、本地服务器LinuxCentos7.9系统安装docker2.1、检查Linux的内核版本2.2、卸载Docker旧版本(若有需要)2.3、安装Docker2.4、安装Docker引擎2.5、 启动docker和设置开机⾃启动3、使用Docker安装ThingsBoardPE3.1、 拉取ThingsBoardPE镜像3.2......
  • Kubernetes之Pod
    什么是Pod通俗的来讲就是以pause为基础容器,其它容器共享pause容器的网络名称空间、主机名以及进程间通信,组成的一个逻辑的容器集合。•KubernetesPod是Kubernetes的基础单元,一个Pod是一组功能相关的部署到一起的容器的集合。•在Kubernetes中,每个Pod会有自己独立的内部动......
  • Kubernetes资源管理
    为了避免集群中的Pod负载加大时节点资源不足,导致某些用户进程被“杀掉”,Kubernetes需要有一套完备的资源配额限制及对应的Pod服务等级机制,解决思路如下:(1)可以全面限制一个应用及其中的Pod所能占用的资源配额。具体包括三种方式:<1>定义每个Pod上资源配额相关的参......