相比于Oracle、MySQL等传统的数据库，OceanBase数据库的存储引擎采用 LSM-Tree 的架构，这种存储引擎和之前所使用到的堆结构或B+树结构有很大的差别，今天我们就来聊聊 LSM-Tree 存储引擎所引入的合并和转储相关的功能特点。
OB 存储引擎的分层结构
LSM-Tree 存储引擎分为静态基线数据 (SSTable) 和动态增量数据 (MemTable)。这种架构本质上是一个基线加增量的存储引擎，SSTable 中存储的基线数据是只读的，一旦生成就不能修改，这部分数据是保存在磁盘上的；MemTable 是增量数据，应用程序数据的增量修改都保存在 MemTable，这部分数据是保存在内存中的。内存的数据并不是持久的，为了防止意外宕机导致内存数据丢失，在写入 MemTable 时还会同步将变更写入到在线日志，通过 Paxos 协议来保障数据的一致性。
MemTable 中的数据是按照 BTree 和 HashTable 的方式组织的，数据以B树结构进行存储，B树索引中的数据都是有序的，能够更好的支持范围查询，但对于点查等单行查询的场景，B树需要进行大量的主键检索，性能会比较差。为了满足点查等更多场景的需要，还增加了哈希索引结构，实现对单行查询的优化。每次事务执行时，MemTable 会自动维护B树和哈希索引之间的数据一致性。
![[Pasted image 20240915090506.png]]
用户表每个分区管理数据的基本单元是 SSTable，当 MemTable 大小达到某个阈值后，OceanBase 会将 MemTable 冻结，然后将其中的数据转存于磁盘上，转储后的结构就称为 SSTable。
OceanBase 将磁盘切分为大小 2MB 的定长数据块，称之为宏块，宏块是数据文件写 I/O 的基本单位，也是转储合并以及复制迁移等任务的基本粒度单位。
在宏块内部数据被组织为多个默认 16KB 大小的变长数据块，称之为微块，微块是数据文件读 I/O 的最小单位。数据最终是存储在微块中的，每个微块在构建时都会更加用户指定的压缩算法进行压缩，读取时会自动将数据解压后放入数据缓存中。
OB 存储引擎的合并转储
内存空间终究是有限的，这也意味着 MemTable 不可能无限保存在内存中，为此 LSM-Tree 存储引擎提供了转储和合并的机制，当 MemTable 的大小超过一定阈值时，需要将 MemTable 中的数据转存到 SSTable 中以释放内存，这一过程称之为 转储。转储会生成新的 SSTable，当转储的次数超过一定阈值时，或者在每天的业务低峰期，系统会将基线 SSTable 与之后转储的增量 SSTable 给合并为一个 SSTable，这一过程称之为 合并。
合并
最简单的 LSM Tree 只有两层： C0 层 (MemTable) 和 C1 层 (SSTable)，其合并过程如下：
- 将所有 OBServer 上的 MemTable 数据做大版本冻结，其余内存作为新的 MemTable 继续使用；
- 将冻结后的 MemTable 数据合并到 SSTable 中，形成新的的 SSTable，并覆盖旧的 SSTable；
- 合并完成后，冻结的 MemTable 内存才可以被清空并重新使用。
按照合并宏块的不同，合并可以细化为全量合并、增量合并和渐进合并三种方式，其中：
- 全量合并，是把所有的静态数据都读取出来，和动态数据合并。全量合并消耗 I/O 和 CPU 资源，合并时间长；
- 增量合并，只会读取被修改过的宏块，和动态数据合并，对于未修改过的宏块，直接重用；
- 渐进合并，每次全量合并一部分，若干轮次后整体数据被重写一遍。
为了满足不同场景的需求，OceanBase 支持多种方式的合并触发模式。
- 定时合并，可以结合业务系统的特点，指定合并的触发时间，如凌晨2点；
- 手工合并，可以在需要的时候手工触发合并，释放内存；
- 自动合并，当租户 MemStore 内存使用率达到 freeze_trigger_percentage 参数设定值，并且转储次数达到 minor_freeze_times 参数设定值，则触发自动合并。需要注意的是，手工触发的转储并不会增加 minor_freeze_times 的计数。
此外，在合并过程中还支持轮转合并，利用分布式多副本的特点，轮流为每份副本单独做合并。
转储
合并是集群性的全局操作，合并过程时间较长，系统整体的资源消耗也很高，对于业务侧影响比较大，因此 OceanBase 又引入了转储机制。每个 OBServer 节点的租户可以独立决定自己 MemTable 的冻结操作，主备分区不需要保持一致。转储过程中的主要操作如下：
- 将 MemTable 数据做小版本冻结后写到磁盘上单独的转储文件里，不与 SSTable 数据做合并；
- 转储文件写完之后，冻结的 MemTable 内存被清空并重新使用；
- 每次转储会将 MemTable 数据与前一次转储的数据合并，最终合并到 SSTable 中。
通过转储引入中间层，避免单个租户 MemStore 使用率过高触发集群级的全量合并，使得其他租户成为受害者。
转储的触发方式分为自动触发和手工触发两种。当 MemStore 内存使用率达到设定阈值，会触发自动冻结，然后系统内部再调度转储；此外也可以通过手工的方式发起转储动作，手工转储支持指定租户、分区和 OBServer 进行转储。
合并和转储相关的参数
为了便于大家查阅，相关的合并和转储参数汇总如下。
| 参数名称 | 参数描述 | 默认值 |
|---|---|---|
| minor_freeze_times | 控制两次合并之间的转储次数，设置为0表示关闭转储功能 | 100 |
| minor_merge_concurrency | 并发做转储的分区个数 | 0，表示并发线程数为 min[10，cpu_cnt] |
| freeze_trigger_percentage | 设定租户MemStore使用率阈值，达到设定值则触发合并 | 70，V4.0之后调整为20 |
| major_freeze_duty_time | 指定每日定时合并的时间 | 02:00 |
| enable_merge_by_turn | 是否开启轮转合并 | False |
| enable_manual_merge | 是否开启手工合并 | False |
| zone_merge_order | 指定自动轮转合并的合并顺序 | NULL |
| zone_merge_timeout | 定义合并的超时时间 | 3h |
| data_disk_usage_limit_percentage | 定义数据文件最大可写入的百分比 | 90 |
| datafile_disk_percentage | 定义磁盘空间使用阈值 | 90 |