首页 > 其他分享 >RocketMQ Broker存储结构

RocketMQ Broker存储结构

时间:2024-06-01 10:12:35浏览次数:15  
标签:存储 2024060112131313 Broker broker topic 索引 ------ RocketMQ

Broker

------consumeQueue:消费队列

  ------topic:topic

    ------0

      ------000000000000000000000

    ------1
      ------000000000000000000000

------config:一个目录,保持了当前broker中全部的topic、订阅关系和消息进度。这些数据broker会定时从内存持久化到磁盘,以便宕机后恢复。

------commitlog:一个目录,其中包含具体的commitlog文件,每个文件大小一般1G。

  ------000000000123131313

  ------000000000123131313

------index:一个目录,文件的全部都是按照消息key创建的hash索引。文件名时用创建时的时间戳命名的。

  ------2024060112131313
  ------2024060112131313

------abort:Borker是否异常关闭标识,正常关闭时该文件会被删除,当broker重新启动时,根据是否异常宕机决定是否需要重新构建Index索引等操作。

------checkpoint:Borker最近一次正常运行时的状态,比如最后一次正常刷盘的时间、最后一次正确索引的时间等。

标签:存储,2024060112131313,Broker,broker,topic,索引,------,RocketMQ
From: https://www.cnblogs.com/use-D/p/18225599

相关文章

  • 数据库物理存储
    数据库文件布局本节描述文件和目录级别的存储格式。传统上,数据库集群使用的配置和数据文件一起存储在集群的数据目录中,通常称为PGDATA(以可用于定义它的环境变量的名称命名)。PGDATA的常见位置是/var/lib/pgsql/data。由不同服务器实例管理的多个集群可以存在于同一台计算机上。......
  • 数据在内存中的存储
    在通过之前学习c语言相关的知识后我们知道c语言中有多种的数据类型,那么这其中在编写程序的时候用的整型和浮点型在内存空间中是按照什么样的规律存储的呢?整型和浮点型数据在的存储方法是相同的吗?在本篇中就将详细的讲解数据在内存当中存储的相关知识1.整数在内存中的存储在......
  • 鸿蒙HarmonyOS实战-Web组件(Cookie及数据存储)
    ......
  • 作为最常用的存储协议,企业如何进行NAS存储统一管理?
    NAS存储时目前企业使用最普遍的存储方式之一,NAS存储具有非常明显的优势:如易于扩展,满足企业满足不断增长的数据存储需求;企业员工可便捷访问;成本低,支持多种操作环境和客户端等。但NAS存储也具有很明显的问题和使用痛点:性能瓶颈:在需要处理大量小块数据或进行高I/O操作的场景下,NAS......
  • 32.MySQL数据库【二】存储引擎与基本数据类型.
    【一】MySQL之存储引擎1)介绍针对不同的数据有不同的处理机制,存储引擎就是不同的处理机制2)MySQL主要的存储引擎1.innodb是MySQL5.5版本之后的默认存储引擎支持事务、外锁、外键2.myisam是MySQL5.5版本之前的默认存储引擎速度比innodb快,但数据安全性较弱3.memory......
  • 如何在代码中实现高效的数据存储和检索?
    要在代码中实现高效的数据存储和检索,可以采用以下几种方法:使用合适的数据结构:选择合适的数据结构对于数据存储和检索的效率至关重要。例如,使用哈希表可以实现O(1)时间复杂度的查找操作,而使用二叉搜索树可以实现O(logn)的时间复杂度。使用索引:对于大规模的数据集,使用索......
  • 存储系统需要做哪些事?
    储存系统,顾名思义,自然是一个提供数据存储、查询的系统。那么,一个储存系统,具体要做哪些事儿呢?在我看来主要是如下六个方面*数据格式*数据结构*单点or分布式*高可用*数据一致性*查询优化数据格式所谓数据格式,便是对数据存储......
  • RocketMQ重复消费的幂等性问题
    什么是幂等性?----》多次调用接口,得到的结果都一样。用幂等性来解决重复消费的问题。重复消费可以解决吗-----》重复消费根部避免不了。只能从消息的幂等消费入手。为什么会有重复消费?由于我们要求RocketMQ消息不丢失,要保证消息不丢失就会有重传机制。消息发送成功,但是broke......
  • 记一次存储过程bug记录
    为了快速清空测试数据,把几条删除语句换成了存储过程,如下所示:CREATEDEFINER=`deme`@`%`PROCEDURE`delete_user_data`(INaddressVARCHAR(255))BEGINDELETEFROMt_user_bindWHEREuidIN(SELECTidFROMt_userWHEREaddress=address);DELETEFROMt_x_logW......
  • ceph客户端配置自动挂载存储服务
    1.安装支持ceph的内核模块可选:centos/ubuntu:yuminstall-yceph-common或aptinstall-yceph-common2.拷贝认证密钥cephadmin@ceph-deploy:~/ceph-cluster$sudoscpceph.confceph.client.admin.keyringroot@<客户端服务器IP>:/etc/ceph测试获取集群信息:客户......