首页 > 其他分享 >搭建RocketMQ主从异步集群

搭建RocketMQ主从异步集群

时间：2024-06-10 14:01:25浏览次数：17  
标签：异步 store broker 192.168 RocketMQ local 主从 rocketmq usr

搭建RocketMQ主从异步集群

1、RocketMQ集群模式

  为了追求更好的性能，RocketMQ的最佳实践方式都是在集群模式下完成的。RocketMQ官方提供了三种集群搭建方式：

  • 2主2从异步通信方式：使用异步方式进行主从之间的数据复制。吞吐量大，但可能会丢消息。使用conf/2m-2s-async文件夹内的配置文件做集群配置。
  • 2主2从同步通信方式：使用同步方式进行主从之间的数据复制，保证消息安全投递，不会丢失，但影响吞吐量。使用conf/2m-2s-sync文件夹内的配置文件做集群配置。
  • 2从无从方式：会存在单点故障，且读的性能没有前两种方式号。使用conf/2m-noslave文件夹内的配置文件做集群配置。
  • Dledger高可用集群：上述三种官方提供的集群没办法实现高可用，即在master节点挂掉后，slave节点没办法自动被选举为新的master，而需要人工实现。RocketMQ在4.5版本之后引入了第三方的Dledger高可用集群。

2、搭建主从异步集群

2.1 准备三台Linux服务器

三台Linux服务器中NameServer和Broker之间的关系如下：

服务器服务器IPNameServerBroker节点部署
服务器1192.168.159.33192.168.159.33:9876
服务器2192.168.159.34192.168.159.34:9876broker-a(master)，broker-b-s(slave)
服务器3192.168.159.35192.168.159.35:9876broker-b(master)，broker-a-s(slave)

三台服务器都需要安装JDK和RocketMQ，不再赘述。

2.2 启动三台NameServer

  NameServer是一个轻量级的注册中心，Broker把自己的信息注册到NameServer上。而且NameServer是无状态的，直接启动即可。三台NameServer之间不需要通信，而是被请求来关联三台NameServer的地址。

  修改三台服务器的runserver.sh文件，将JVM内存默认的4G改为512M。

image-20240503171610618

  在每台服务器的bin目录下执行如下命令：

  • 服务器1：nohup ./mqnamesrv -n 192.168.159.33:9876 &
  • 服务器2：nohup ./mqnamesrv -n 192.168.159.34:9876 &
  • 服务器3：nohup ./mqnamesrv -n 192.168.159.35:9876 &

2.3 配置Broker

  broker-a，broker-b-s这两台broker是配置在服务器2上，broker-b,broker-a-s这两台broker是配置在服务器3上。这两对主从节点在不同的服务器上，服务器1上没有部署broker。

  需要修改每台broker的配置文件。注意，同一台服务器上的两个broker保存路径不能一样。

  • broker-a的master节点

  在服务器2上，进入到conf/2m-2s-async文件夹内，修改broker-a.properties文件。

image-20240503172248247

配置如下：

# 所属集群名称
brokerClusterName=DefaultCluster
# broker名字
brokerName=broker-a
# broker所在服务器的ip
brokerIP1=192.168.159.34
# broker的id， 0表示master， >0表示slave
brokerId=0
# 删除文件时间点，默认在凌晨4点
deleteWhen=04
# 文件保留时间为48小时
fileReservedTime=48
# broker的角色为master
brokerRole=ASYNC_MASTER
# 使用异步刷盘的方式
flushDiskType=ASYNC_FLUSH
# 名称服务器的地址列表
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
# 在发送消息自动创建不存在的topic时，默认创建的队列数为4个
defaultTopicQueueNums=4
# 是否允许 Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
# 是否允许 Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# broker对外服务的监听端口
listenPort=10911
# abort文件存储路径
abortFile=/usr/local/rocketmq/store/abort
# 消息存储路径
storePathRootDir=/usr/local/rocketmq/store
# commitLog存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
# 消费队列存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
# 消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
# checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
# 限制的消息大小
maxMessageSize=65536
# commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
  • broker-a的slave节点

  在服务器3上，进入到conf/2m-2s-async文件夹内，修改broker-a-s.properties文件，配置如下：

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerIP1=192.168.159.35
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=11011
abortFile=/usr/local/rocketmq/store-slave/abort
storePathRootDir=/usr/local/rocketmq/store-slave
storePathCommitLog=/usr/local/rocketmq/store-slave/commitlog
storePathConsumeQueue=/usr/local/rocketmq/store-slave/consumequeue
storePathIndex=/usr/local/rocketmq/store-slave/index
storeCheckpoint=/usr/local/rocketmq/store-slave/checkpoint
maxMessageSize=65536
  • broker-b的master节点

  在服务器3上，进入到conf/2m-2s-async文件夹内，修改broker-b.properties文件。

brokerClusterName=DefaultCluster
brokerName=broker-b
brokerIP1=192.168.159.35
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=10911
abortFile=/usr/local/rocketmq/store/abort
storePathRootDir=/usr/local/rocketmq/store
storePathCommitLog=/usr/local/rocketmq/store/commitlog
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
storePathIndex=/usr/local/rocketmq/store/index
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
maxMessageSize=65536
  • broker-b的slave节点

  在服务器2上，进入到conf/2m-2s-async文件夹内，修改broker-b-s.properties文件。

brokerClusterName=DefaultCluster
brokerName=broker-b
IP1=192.168.159.34
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=11011
abortFile=/usr/local/rocketmq/store-slave/abort
storePathRootDir=/usr/local/rocketmq/store-slave
storePathCommitLog=/usr/local/rocketmq/store-slave/commitlog
storePathConsumeQueue=/usr/local/rocketmq/store-slave/consumequeue
storePathIndex=/usr/local/rocketmq/store-slave/index
storeCheckpoint=/usr/local/rocketmq/store-slave/checkpoint
maxMessageSize=65536

  修改服务器2和服务器3的runbroker.sh文件，将JVM默认内存大小从8G修改为512M。

image-20240503174155363

2.4 启动Broker

  在服务器2中启动broker-a(master)和broker-b-s(slave)

nohup ./mqbroker -c ../conf/2m-2s-async/broker-a.properties &
nohup ./mqbroker -c ../conf/2m-2s-async/broker-b-s.properties &

image-20240503174439431

  在服务器3中启动broker-b(master)和broker-a-s(slave)

nohup ./mqbroker -c ../conf/2m-2s-async/broker-b.properties &
nohup ./mqbroker -c ../conf/2m-2s-async/broker-a-s.properties &

image-20240503174842925

3、验证集群

  使用RocketMQ提供的tools工具验证集群是否正常工作。

  • 在服务器上配置环境变量

    用于被tools中的生产者和消费者程序读取该变量。

    export NAMESRV_ADDR='192.168.159.33:9876;192.168.159.34:9876;192.168.159.35:9876'

  • 启动生产者

    ./tools.sh org.apache.rocketmq.example.quickstart.Producer

    执行之后会看到消息发送。

    image-20240503175212295

  • 启动消费者

    ./tools.sh org.apache.rocketmq.example.quickstart.Consumer

    指定上述命令之后，可以看到消息被消费。

    image-20240503175311382

4、mqadmin管理工具

  RocketMQ提供了命令工具用于管理topic、broker、集群、消息等。

  比如查看下集群的状态：

./mqadmin clusterlist

image-20240503175511451

  比如使用mqadmin创建topic：

./mqadmin updateTopic -n 192.168.159.34:9876 -c DefaultCluster -t myTopic1

image-20240503175617170

  可以看到，topic建立到了DefaultCluster集群下的broker-a(master)和broker-b(master)上边。

  mqadmin的命令比较多，不太好记，下面我们介绍下RocketMQ的可视化管理平台。

5、安装可视化管理控制平台

5.1 RocketMQ-DashBoard安装

  Apache RocketMQ官网提供了两种安装方式，一种是Docker，一种是源码安装。本文采用源码安装方式。

  源码地址：https://github.com/apache/rocketmq-dashboard

  下载并解压，切换至源码目录rocketmq-dashboard-master

image-20240503210111770

  这里在打包之前需要修改下配置文件application.yml

image-20240503210211231

  将NameServer修改为自己集群的地址即可：

image-20240503210251241

  执行打包命令：

mvn clean package -Dmaven.test.skip=true

image-20240503210334166

  将target目录下的jar包上传到虚拟机中，运行jar包：

java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar

image-20240503210444739

访问192.168.159.33:8080

image-20240503210542114

image-20240503210615060

image-20240503210641638

5.2 踩坑的解决方案

  当时maven打包好久都无法成功，后来搜了下注释掉frontend-maven-plugin和maven-antrun-plugin这两个plugin后就成功了。

  还有一个问题是，当时直接在github拉取的rocketmq-dashboard的master分支，打包之后的版本为1.0.1，对应的是rocketmq的5.x版本，如果使用该版本监控rocketmq4.x，会有问题，查看不了topic的状态。

  直接在github上下载1.0.0那个release重新打包即可。

标签：异步,store,broker,192.168,RocketMQ,local,主从,rocketmq,usr
From： https://blog.csdn.net/qq_43753724/article/details/139576133

相关文章

  • 初探RocketMQ
    初探RocketMQ1、引言  MessageQueue(消息队列)，从字面上理解：首先它是一个队列。FIFO先进先出的数据结构-队列。消息队列就是所谓的存放消息的队列。  消息队列解决的不是消息的队列的目的，解决的是通信问题。  比如以电商订单系统为例，如果各服务之间使用同步通信，......
  • ♻️同步和异步；并行和并发；阻塞和非阻塞
    概念辨析同步（Synchronous）和异步（Asynchronous）同步和异步关注的是任务完成的顺序和时间：同步操作意味着在执行某个任务时，必须等待这个任务完成后才能继续执行下一个任务。这通常会导致执行线程在等待任务完成时处于阻塞状态。异步操作允许执行线程在发起一个任务后，不需要等待......
  • RocketMQ教程(三)：RocketMQ的核心组件
    四个核心组件RocketMQ的架构采用了典型的分布式系统设计理念，以确保高性能、高可用和可扩展性。RocketMQ主要由四个核心组件构成：NameServer、Broker、Producer和Consumer。下面是对这些组件以及它们在RocketMQ中的角色和功能的概述：1.NameServer角色和功能：NameServer......
  • Redis中的主从复制
    分布式系统中的几种Redis部署方式为了解决一个程序只部署在一个服务器上的单点问题：可用性问题，如果这个机器挂了，就意味着服务就中断了一个程序只部署在一台机器上，它的性能/支持的并发量也是有限的所以，就引入了分布式系统。在分布式系统中，往往希望有多个服务器来部署Redis......
  • mysql阶段03 mysql多实例, 数据库主从, mysql5.6和5.7区别, 用户管理, 权限管理
    一、mysql的多实例nginx多实例，就是配置多个配置文件mysql多实例:1.有多个配置文件2.多端口3.多个socket文件4.多个日志文件5.多个server_id1.创建多实例存放目录之前数据库已安装在/usr/local/mysql下[root@db03~]#mkdir/usr/local/{3307,3308,3309}-p2.配置......
  • C#异步编程是怎么回事（番外）
    在上一篇通信协议碰到了多线程，阻塞、非阻塞、锁、信号量...，会碰到很多问题。因此我感觉很有必要研究多线程与异步编程。首先以一个例子开始我说明一下这个例子。这是一个演示异步编程的例子。输入job[name]，在一个同步的Main方法中，以一发即忘的方式调用异步方法StartJob()。......
  • 【Redis】Redis主从复制（一）————主从搭建
    目录背景主从复制主从复制的工作流程主从复制的优点配置redis主从结构复制配置文件，修改配置主从结构启动redis服务备注查看复制状态背景单节点服务器的问题问题：可用性：如果这个机器挂了，意味着服务就中断了.性能：支持的并发量也是比较有限的.解决思路：引入分布......
  • Mysql 8.4.0 结合 Docker 搭建GTID主从复制，以及传统主从复制
    注意：本教程不适用旧版本，Mysql8.4.0和旧版本，主从复制相关命令有所变化，具体区别请看文末参考软件版本Docker：26.1.3Mysql：8.4.0 GTID主从复制1.准备主从两台服务器2.两台服务器分别创建DockerCompose文件services:mysql:image:mysql:8.4.0ports:-"3......
  • linux安装mysql8并配置主从
    服务器10.213.3.68DBmaser10.213.3.69DBslave都安装mysql8安装包，解压mysql-8.0.35-linux-glibc2.17-x86_64.tar.xz[root@DB-mastermysql8]#lsbindocsincludelibLICENSEmanREADMEsharesupport-files优化过的配置文件[mysqld]server-id=1log-bin=mys......
  • FastAPI-4：异步、并发和Starlette
    4异步、并发和Starlette本章关注FastAPI的底层Starlette库，尤其是它对异步处理的支持。在概述了Python中“同时做更多事情”的多种方法后，您将看到Python中较新的async和await关键字是如何融入Starlette和FastAPI的。4.1StarletteFastAPI的大部分网络代码都基于TomChristie......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99