• 2024-09-11dubbo结合springboot使用教程(D)
    简介官方文档:DubboSDK用户手册|ApacheDubbo实践服务端:定义服务端接口publicinterfaceLotteryDrawApi{RpcResult<String>draw(DrawReqreq);}服务端接口实现引入dubbo-spring-boot-starter依赖<dependency><groupId>org.apache.dubbo</groupId>
  • 2024-09-11如何在Windows上搭建并运行DolphinScheduler前后端开发环境
    作者:海豚调度研究随笔编辑整理:曾辉前言ApacheDolphinScheduler是一个优秀的分布式调度系统,广泛应用于大数据处理和自动化任务管理中。本文详细介绍了如何在Windows环境下搭建ApacheDolphinScheduler的前后端开发环境。包括从源码的下载、环境配置、数据库初始化、依赖安装
  • 2024-09-10Kafka集群搭建与基本原理详解
    目录一、Kafka介绍1、MQ的作用MQ的作用主要有以下三个方面:1.异步2.解耦3.削峰2、为什么要用Kafka(特点)二、Kafka快速上手1、实验环境2、单机服务体验1、启动Kafka之前需要先启动Zookeeper。2、启动Kafka。3、简单收发消息4、其他消费模式指定消费进度分组
  • 2024-09-09九月九日
    今天在课堂上主要检查了hadoop和数据库的安装,而且我的都安装好了,没有出现问题,应该说都解决了。Hadoop、‌ZooKeeper和HBase的启动与关闭顺序如下:‌‌启动顺序‌:‌‌启动Hadoop‌:‌首先启动Hadoop集群,‌包括HDFS和YARN等组件。‌这通常涉及在master节点上运行start-dfs.sh和star
  • 2024-09-06Docker安装zookeeper(zookeeper-latest)与Kafka(kafka-latest)
    一、Docker安装zookeeper1.准备工作(1)进入文件夹dockercd/usr/local/docker/(2)创建一个网络#app-tier:网络名称#–driver:网络类型为bridgedockernetworkcreateapp-kafka--driverbridge(3)在docker创建zookeeper文件夹//创建文件夹mkdirzookeeper//进入cd
  • 2024-09-05深入探索Java中的分布式锁服务与Zookeeper集成
    引言在分布式系统中,资源竞争是一个不可避免的问题。为了确保多个机器或进程在访问共享资源时不发生冲突,我们需要一种有效的锁机制。分布式锁服务正是为了解决这个问题而设计的,而Zookeeper作为一种强大的分布式协调服务,可以帮助我们实现这种分布式锁服务。为什么选择Zookeeper
  • 2024-09-04kafka安装配置、以及遇到闪退问题的解决办法
    一、Kafka对于zookeeper是强依赖,保存kafka相关的节点数据,所以安装Kafka之前必须先安装zookeeper详细安装过程参见这位大神写的博客windows系统kafka小白入门篇——下载安装,环境配置,入门代码书写_windowskafka-CSDN博客 注:解压包尽量放在磁盘根目录下,避免发生启动失败问
  • 2024-09-04Apache zookeeper kafka 开启SASL安全认证_kafka开启认证
    如果使用PLAIN认证有个问题,就是不能动态新增用户,每次添加用户后,需要重启正在运行的Kafka集群才能生效。因此,在生产环境中,这种认证方式不符合实际业务场景,不利于后期扩展。然而使用SCRAM认证,可以动态新增用户,添加用户后,可以不用重启正在运行的Kafka集群即可进行鉴权。所以生产环境
  • 2024-09-02Zookeeper注册中心实战
    Java学习手册+面试指南:https://javaxiaobear.cnSpringCloudZookeeper通过自动配置和绑定到Spring环境和其他Spring编程模型习惯用法,为SpringBoot应用程序提供ApacheZookeeper集成。通过一些简单的注释,您可以快速启用和配置应用程序内的常见模式,并使用Zookeeper构建大型
  • 2024-08-30分布式锁的实现:ZooKeeper 的解决方案
    在分布式系统中,不同的服务或进程需要访问共享资源时,常常需要一种机制来确保在同一时刻只有一个服务或进程能够访问资源。这种机制被称为分布式锁。ZooKeeper,一个为分布式应用提供一致性服务的开源协调服务,提供了一种实现分布式锁的有效方法。ZooKeeper分布式锁的原理ZooKeep
  • 2024-08-28window下kafka3启动多个
    准备工作我们先安装好kafka,并保证启动成功,可参考文章Windows下安装Kafka3-CSDN博客复制kafka安装文件kafka3已经内置了zookeeper,所以直接复制就行了修改zookeeper配置文件这里我们修改zookeeper配置文件,主要是快照地址和端口号,并且端口号与第一个不同修改kafka服
  • 2024-08-28hadoop生态圈(二)-zookeeper(分布式小文件存储系统)
    目录zookeeper特性集群角色zookeepershell创建节点读取节点更新节点删除节点对节点增加限制其他命令 zookeeper数据模型数据结构图节点类型节点属性监听机制Watch机制特点zookeeper特性全局数据一致:集群中每个服务器保存一份相同的数据副本,client无论连
  • 2024-08-28Kafka安装和使用(Windows)
    下载和安装阿里云镜像下载地址:kafka_2.13-3.6.2.tgz清华大学镜像下载地址:kafka_2.13-3.6.2.tgz下载完成后解压即可,目录如下:配置和使用kafka的部署离不开zookeeper的,所以需要zookeeper。但是从kafka3的版本之后自带了zookeeper,所以不需要我们去考虑zookeeper,只需配置
  • 2024-08-26zookeeper 集群搭建 及启动关闭脚本
    1准备奇数台机子3,5,7   我准备的是三台192.168.58.81 zookeeper-1192.168.58.82 zookeeper-2192.168.58.83 zookeeper-3下载jdk 把他配置环境变量并检查是否是环境变量 echo$JAVA_HOMEcd/opt/software wgethttp://mirrors.hust.edu.cn/apache/zooke
  • 2024-08-25Zookeeper分布式一致性协议ZAB介绍
    目录ZAB协议介绍消息广播崩溃恢复数据同步ZAB写数据源码流程图整个Zookeeper就是一个多节点分布式一致性算法的实现,底层采用的实现协议是ZAB。ZAB协议介绍ZAB协议全称:ZookeeperAtomicBroadcast(Zookeeper原子广播协议)。Zookeeper是一个为分布式应用提供高效且
  • 2024-08-23大数据技术之Zookeeper实现分布式锁(5)
    目录分布式锁案例1.创建锁节点2.获取锁3.释放锁4.锁自动释放示例代码分布式锁测试测试环境准备测试步骤示例代码Client1.javaClient2.java运行测试Curator框架实现分布式锁案例 步骤1:添加依赖步骤2:创建CuratorFramework实例步骤3:实现分布式
  • 2024-08-23Zookeeper的watch机制是如何工作的?
    ZooKeeperWatch概述ZooKeeperWatch机制类似于Java设计模式中的观察者模式或者监听模式,唯一的不同是不再基于线程间通信,而是基于进程间通信。ZooKeeperWatch机制是指,客户端在所有的读命令上告知服务端:这个节点或者子节点变化时通知我,具体来说,支持的写操作有:getData
  • 2024-08-23dubbo[2]_XML配置
    本文介绍了zookeeper的下载安装以及用xml配置服务消费者和提供者的例子。1.zookeeper下载安装本文的例子使用zookeeper作为注册中心。首先,从官网下载zookeeper,我选择的是ApacheZooKeeper3.6.3版本。下载完成后,解压到自己的目录。https://zookeeper.apache.org/releases.html
  • 2024-08-22centos7安装Kafka单节点环境部署一-ZooKeeper安装与配置
    由于Kafka运行需要zookeeper配合,zookeeper需要运行在JVM上,所以需要安装JDK,zookeeper。Kafka从2.0.0版本开始就不再支持JDK7及以下版本,就以CentOS764位JDK8为例1、下载ZooKeeperwgethttps://archive.apache.org/dist/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.ta
  • 2024-08-21一文入门ZooKeeper
    简介官网:https://zookeeper.apache.org/index.html分布式服务协调组件,GoogleChubby的开源实现。解决分布式应用中的以下问题:配置管理、命名服务(NamingService)、集群管理、统一命名服务、状态同步。用于解决分布式数据一致性问题,提供顺序一致性、原子性、单一视图、可靠性、实
  • 2024-08-21Zookeeper应用场景实战二
    目录1.Zookeeper分布式锁实战1.1什么是分布式锁1.2基于数据库设计思路1.3基于Zookeeper设计思路一1.4基于Zookeeper设计思路二Curator分布式锁示例1.5Curator可重入分布式锁工作流程1.6总结2.基于Zookeeper实现服务的注册与发现2.1设计思路2.2Zo
  • 2024-08-20ZooKeeper系列之ZAB协议
    概述ZooKeeperAtomicBroadcast,ZooKeeper原子消息广播协议。ZAB协议是为分布式协调服务ZK专门设计的一种支持崩溃恢复的原子广播协议。ZK主要依赖ZAB协议来实现分布式数据的最终一致性,基于该协议,ZK实现一种主备模式的系统架构来保持集群中各个副本之间的数据一致性。集群角色
  • 2024-08-18基于SpringBoot3框架-数据库乐观锁、悲观锁、Redis、Zookeeper分布式锁的简单案例实现(保姆级教程)
    1.分布式锁的定义分布式锁是一种在分布式系统中用来协调多个进程或线程对共享资源进行访问的机制。它确保在分布式环境下,多个节点(如不同的服务器或进程)不会同时访问同一个共享资源,从而避免数据不一致、资源竞争等问题。2.分布式锁的工作原理分布式锁的工作原理与单机锁
  • 2024-08-17ansible自动化部署zookeeper
    一、准备环境1、准备机器本次以192.168.190.155,192.168.190.156,192.168.190.157,192.168.190.158四台虚机为例,本文操作全在管理机中。机器IP节点CPU&内存系统盘存储192.168.190.155Ansible管理机2C4G50GB50GB192.168.190.158Master/Worker(被管理机)2
  • 2024-08-15zookeeper+kafka群集
    一:消息队列1:什么是消息队列        消息(Message)是指在应用间传送的数据。消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。         消息队列(MessageQueue)是一种应用间的通信方式,消息发送后可以立即返回由消息系统来确保消息