- 2024-11-06Docker搭建kafka集群
Docker搭建kafka集群kafka中的基本概念broker:消息中间件处理节点,一个broker就是一个kafka节点,一个或者多个broker就组成了一个kafka集群topic:kafka根据topic对消息进行归类,发布到kafka集群的每个消息,都要指定一个topicproducer:消息生产者,向broker发送消息的客户端consumer:消
- 2024-10-20kafka
kafka1.zookeeper集群搭建1.1作用什么是zookeeperzookeeper致力于维护开源服务器,实现高度可靠的分布式协调zookeeper是一个用于维护配置信息,命名,提供分布式服务和提供组服务的集中式服务说白了:zookeeper的作用就是为分布式集群各节点提供数据共享的功能1.2应用场景
- 2024-10-14微服务01 ZooKeeper, Kafka
1.4微服务1.4.6SpringCloudJAVA微服务技术Dubbo是2014年之前阿里退出的分布式系统的技术(不属于微服务)。现在主流是SpringCloudSpringCloud 官网地址:https://spring.io/projects/spring-cloud官网上实现方法有很多种,目前主流是阿里巴巴实现的方法Sprin
- 2024-10-09Docker 部署 Kafka 集群详解教程
Kafka是一个分布式流处理平台,广泛用于构建实时数据管道和流应用。它能够处理高吞吐量的数据,并支持实时数据的发布和订阅。在本文中,我们将详细介绍如何使用Docker来部署Kafka集群,包括Kafka的选举原理。前提条件安装Docker和DockerCompose。理解Kafka和Zookee
- 2024-09-092181. 合并零之间的节点
给你一个链表的头节点 head ,该链表包含由 0 分隔开的一连串整数。链表的 开端 和 末尾 的节点都满足 Node.val==0 。对于每两个相邻的 0 ,请你将它们之间的所有节点合并成一个节点,其值是所有已合并节点的值之和。然后将所有 0 移除,修改后的链表不应该含有任何 0
- 2024-09-09[LeetCode] 2181. Merge Nodes in Between Zeros
Youaregiventheheadofalinkedlist,whichcontainsaseriesofintegersseparatedby0's.ThebeginningandendofthelinkedlistwillhaveNode.val==0.Foreverytwoconsecutive0's,mergeallthenodeslyinginbetweenthemintoasing
- 2024-08-21Zookeeper应用场景实战二
目录1.Zookeeper分布式锁实战1.1什么是分布式锁1.2基于数据库设计思路1.3基于Zookeeper设计思路一1.4基于Zookeeper设计思路二Curator分布式锁示例1.5Curator可重入分布式锁工作流程1.6总结2.基于Zookeeper实现服务的注册与发现2.1设计思路2.2Zo
- 2024-08-04Zookeeper未授权访问漏洞
Zookeeper未授权访问漏洞Zookeeper是分布式协同管理工具,常用来管理系统配置信息,提供分布式协同服务。Zookeeper的默认开放端口是2181。Zookeeper安装部署之后默认情况下不需要任何身份验证,造成攻击者可以远程利用Zookeeper,通过服务器收集敏感信息或者在Zookeeper集群内进
- 2024-08-02leetcode 2181.合并零之间的结点
1.题目要求:/***Definitionforsingly-linkedlist.*structListNode{*intval;*structListNode*next;*};*/structListNode*mergeNodes(structListNode*head){structListNode*cur=head;intcount=0;//1.遍历结
- 2024-08-02leetcode 2181.合并零之间的结点
1.题目要求:/***Definitionforsingly-linkedlist.*structListNode{*intval;*structListNode*next;*};*/structListNode*mergeNodes(structListNode*head){structListNode*cur=head;intcount=0;//1.遍历结
- 2024-07-30zookeeper未授权访问(CVE-2014-085)
漏洞描述默认安装配置完的zookeeper允许未授权访问,管理员未配置访问控制列表(ACL)。导致攻击者可以在默认开放的2181端口下通过执行envi命令获得大量敏感信息(系统名称、java环境)导致任意用户可以在网络不受限的情况下进行未授权访问读取数据漏洞影响ApacheZooKeeper漏洞复现Ap
- 2024-07-21Docker-Compose配置zookeeper+KaFka+CMAK简单集群
1. 本地DNS解析管理#编辑hosts文件sudonano/etc/hosts#添加以下三个主机IP192.168.186.77zoo1k1192.168.186.18zoo2k2192.168.186.216zoo3k3注:zoo1是192.168.186.77的别名,zoo2是192.168.186.18的别名,zoo3是192.168.186.126的别名,IP自行修改即可,其他配置可以
- 2024-06-23BookKeeper 介绍(3)--API
本文主要介绍 BookKeeper的API,文中所使用到的软件版本:Java1.8.0_341、BookKeeper4.16.5。 1、引入依赖<dependency><groupId>org.apache.bookkeeper</groupId><artifactId>bookkeeper-server</artifactId><version>4.16.5</version>
- 2024-06-19Kafka集群保姆级部署教程
目录资源列表基础环境修改主机名关闭防火墙关闭selinux安装JAVA安装Kafka下载Kafka解压修改配置文件kafka01kafka02kafka03启动服务启动ZK启动Kafka验证测试创建topic查看topic 今天给大家分享的是Kafka分布式集群部署,上次分享的单机版的k
- 2024-06-02使用 docker-compose 部署 zookeeper(单机和集群)
我之前编写了一些zookeeper的博客,当时是在windows系统上部署的单机版,在实际应用中绝大多数情况下都是部署在Linux系统上,因此很有必要介绍一下如何在CentOS7上快速部署zookeeper的单机版和集群版。这里就不详细介绍zookeeper了,网上资料很多,也可以查看官网或者我之前的
- 2024-04-12MySQL的CDC数据实时同步
MySQL的CDC数据实时同步 背景近段时间,业务系统架构基本完备,数据层面的建设比较薄弱,因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据(包括保存、更新或者软删除)到一个另一个数据源,持久化之前需要清洗数据并且构建一
- 2024-04-11docker-compose部署kafka
docker-compose.ymlversion:'2'services:zookeeper:image:develop-harbor.geostar.com.cn/3rd/zookeeper:3.5.5ports:-"2181:2181"kafka:image:develop-harbor.geostar.com.cn/3rd/wurstmeister/kafka:2.12-2.2.1
- 2024-04-11zk实践操作
1.入门基础应用场景ZooKeeper主要服务于分布式系统,可以用ZooKeeper来做:统一配置管理、统一命名服务、分布式锁、集群管理。使用分布式系统就无法避免对节点管理的问题(需要实时感知节点的状态、对节点进行统一管理等等),而由于这些问题处理起来可能相对麻烦和提高了系统的复杂
- 2024-04-11python-API开发zk客户端
前面于超老师讲完了,zk运维的基本命令行玩法,更多的还是开发需要通过代码和zk结合处理。大多数场景是java后端去操作。这里我们以运维更友好的python来学习。1.kazoo模块zookeeper是一个用于维护配置信息、命名、提供分布式同步和提供组服务。它自身是高可用的,只要宕机节点不
- 2024-04-07zookeeper运维(部署安装,常用命令)
目录1.安装部署1.1单机部署1.1.1下载安装1.1.2配置文件1.1.3zkserver状态管理1.1.4使用zk客户端登录服务器1.1.5使用PrettyZoo连接zk1.2集群部署1.2.1环境准备1.2.2配置修改1.2.3设置myid1.2.4启动集群1.2.5测试集群2.常用命令2.1分类2.2功能脚本2.2.1zkServer
- 2024-02-27centos7 安装zookeeper
zookeeper单机版安装在官网下载apache-zookeeper-3.9.1-bin.tar.gz解压tar-zxvfapache-zookeeper-3.9.1-bin.tar.gz备注zk需要依赖环境变量中的JAVA_HOME,所以需要提前安装好检查JAVA_HOMEecho$JAVA_HOME修改配置文件cdzookeeper-3.9.1/confmvzoo_sa
- 2024-01-17kafka安装配置
简介ApacheKafka是一款开源的分布式流处理平台,最初由LinkedIn开发,并于2011年开源。它是一个高吞吐量、可扩展、持久化的消息发布-订阅系统。Kafka被设计用于处理实时数据流,支持大规模的数据流和实时事件处理。准备工作确保你的系统满足以下要求:•Java8或更高版本已安装并配
- 2024-01-15docker安装软件
安装pg1、拉取镜像dockerpullpostgres2、创建数据卷dockervolumecreatepostgre-data3、创建并运行容器dockerrun-id--name=postgresql-vpostgre-data:/var/lib/postgresql/data-p5432:5432-ePOSTGRES_PASSWORD=123456-eLANG=C.UTF-8postgres上述设定了数
- 2023-12-17zk切换
配置文件cat/etc/zookeeper/conf/zoo.cfg 监控主备while:;do echo-n " ";date;foriinhdp1hdp2hdp3bjc-hdp4bjc-hdp5;do echo-n"$i:";echomntr|nc$i2181|grepzk_server_state;done;sleep1;done
- 2023-12-16helm部署Kafka集群
1.准备文件1.1.创建命令空间kubectlcreatenskafka1.1.helm包拉取本地#添加bitnami仓库helmrepoaddbitnamihttps://charts.bitnami.com/bitnami#查询charthelmsearchrepobitnami#拉取zookeeperhelmpullbitnami/zookeeper#解压tarzxvfzookeeper-12.0.