首页 > 其他分享 >GaussDB事务存储组件

GaussDB事务存储组件

时间:2024-10-29 09:10:28浏览次数:5  
标签:存储 读写 LSN GaussDB 内存 组件 日志 节点 页面

事务存储组件

云原生数据库支持透明多写,所有节点对等,每个计算节点都可以读写全部的数据页面,事务在本节点执行,没有分布式事务。每个计算节点都有Local buffer pool,采用Remote memory pool扩展计算节点的内存,在多个计算节点之间共享buffer地址,避免页面在多个计算节点之间传来传去。存储引擎采用Inplace update引擎,底层存储接口统一采用段页式存储方式。事务ID本节点分配,保证唯一性。事务提交时间戳统一分配,合并原来的CLOG和CSN LOG统一记录。存储层采用Log is data,把数据库存储引擎的持久化卸载到Page Store执行日志持久化,日志回放修改页面,创建检查点。

在这里插入图片描述
在计算节点,分布式缓冲池位于数据访问层和分布式存储层的中间,所有的数据访问都要经过缓冲池。分布式缓冲池需要保证页面数据的一致性和页面查找访问的高效性,是云原生数据库实现透明多写,内存资源弹性的关键模块。

具体设计如下:

1、本地内存和远程内存两级缓存本地内存和远程内存的读写时延差别非常大(30~100ns 和 800ns~5us的区别), 哪些页面在本地缓存,哪些页面在远程缓存非常关键。

同时还有一个重要的因素需要考虑,那就是页面是否在多个计算节点被读写,因此云原生数据库把页面分为三大类,一类是页面在多个计算节点被读写(Heap页面,FSM页面),适合存放在远程内存里,页面地址共享;一类是页面大概率被读,几乎不被修改或者极低概率被修改(索引的非叶子页面,系统表的页面)适合存放在本地内存;另外一类是页面只在固定的单节点被读写,(智能路由优化后索引的叶子节点页面),适合存放在本地内存。理想的页面分布情况如下图所示:

在这里插入图片描述
在这里插入图片描述
3、支持远程内存池, 内存独立扩展。云原生数据库在云上支持各种业务负载,CPU、MEM和Storage的配比很难一开始就配置合适,有的是计算密集型的业务,有的是内存密集型的业务,有的是存储容量大的业务。针对各类业务场景,云原生数据库需要提供精细的各种资源的独立扩展能力。支持远程内存池,实现了集群物理内存独立扩展。内存池是可选服务,也可以跟计算节点合部署。

4、本地缓存远程页面地址,页面地址共享,全RDMA/UB单边读写。页面如果频繁在多个节点被读写,为了避免页面在多个节点之间传来传去,采用共享页面地址的方式,SQL节点Local buffer pool里缓存页面的远程地址,通过全单边读写远程页面。在设计上需要考虑读写页面的Latch问题以及写页面过程中故障的处理问题。对于exclusive latch采用lock bit和lock owner node的方式表示,对于share latch,lock bit和lock owner node的方式无法表示, 因为可以有很多发起者同时持有share latch。因此云原生在设计上采用lock-free无锁机制读取页面。

5、Lamport LSN在云原生数据库多写的架构下,每个节点有独立的日志流,本地日志流的LSN是本地分配维护的,本地有序逻辑递增,页面在各个SQL节点之间分别被修改的情况下,需要保证在新节点上修改页面产生的日志LSN要比这个页面之前的日志LSN要大才可以,也就是说从多个节点修改过同一个页面,日志虽然在各个节点独立的日志流里,但是要维护修改页面的日志顺序LSN。Redo日志在多个SQL节点都存在,需要保证这些日志的LSN顺序,才可以保证日志回放的顺序正确性,因此采用Lamport LSN。这部分的详细设计请参照文档<< GaussDB Kernel TD V600R001C00 XLog日志系统设计说明书.docx>>。

在这里插入图片描述

标签:存储,读写,LSN,GaussDB,内存,组件,日志,节点,页面
From: https://www.cnblogs.com/xiaoxu0211/p/18512109

相关文章

  • GaussDB实时分析组件
    云原生数据库以OLTP为主,同时也支持基于OLTP数据的OLAP需求,如每日报表。在云原生数据库中,DBA可以选择为这部分表创建列存索引。创建完列存索引之后,执行器在做顺序扫描的时候,会自动选择列存索引进行数据的读取,实现快速扫描计算的能力。云原生数据库以行存为基础,数据的增删改都先以......
  • GaussDB关键技术方案_通信组件
    GaussDB关键技术方案_通信组件云原生数据库采用shareddisk架构,各个计算节点对等,计算节点之间通过页面交换实现缓存数据的一致性,为了提高页面传递的效率,需要利用RDMA或UB单边读写的能力;云原生数据库为了管理动态资源,需要对动态资源的owner分配进行加锁,分布式锁管理需要利用原子操......
  • GaussDB多租组件
    云原生数据库支持多租户,通过多租户资源共享,一是降低租户的成本,二是通过共享资源的池化实现租户的资源弹性,提高租户业务的可用性。租户的资源弹性支持两种模式,ScaleUp和ScaleOut。ScaleUp是在单个计算节点上对租户的分配资源进行弹性处理,ScaleOut是在计算节点之间对租户的分配......
  • 鸿蒙网络编程系列39-Web组件打印示例
    1.web组件打印简介web组件在加载了网页以后,有两种方式可以实现打印,第一种是在网页中调用W3C标准协议接口window.print()进行打印,这种方式比较简单方便,只要网页中触发了该方法即可打印,缺点是如果网页没有地方触发则不能打印;另外一种是在应用侧实现的,通过web控制器的createW......
  • Java数据存储容器大全
    一、Collection接口及其子类List:列表,可以存储有序的、可重复的元素。ArrayList:基于数组实现的动态数组,可以动态增长和缩小。它提供了快速的随机访问,但在列表中间进行插入和删除操作可能较。LinkedList:基于双向链表实现的列表,具有高效的插入和删除操作(特别是在列表头部和......
  • DRF-Serializers序列化器组件源码分析及改编
    1.源码分析注意:以下代码片段为方便理解已进行简化,只保留了与序列化功能相关的代码序列化的源码中涉及到了元类的概念,我在这里简单说明一下:元类(metaclass)是一个高级概念,用于定义类的创建行为。简单来说,元类是创建类的类,它决定了类的创建方式和行为。在Python中一切皆为对象,包......
  • <十七>Ceph 块存储理论与实践
    Ceph集群的检查可以简化为MON状态检查、OSD状态检查和PG状态检查。上一章节我们重点介绍了MON的状态和维护方法。本章节将重点介绍OSD状态和块存储常用命令。Tips:如果是故障排查,请在确保MON状态正常的情况下进行OSD和PG状态检查。Tips:下面的简单理解只是......
  • react hook应用详解+diff 理解 + 父子组件渲染
    文章目录ReactHook函数全解1.useState2.useEffect3.useContext4.useReducer5.useCallback6.useMemo7.useRef8.useImperativeHandle9.useLayoutEffect10.useDebugValueReact渲染更新原理1.虚拟DOM(VirtualDOM)2.协调(Reconciliation)3.批量更新和DOM操作Reac......
  • Vue.js 组件开发高级指南
    Vue.js组件开发高级指南引言Vue.js是一个极具灵活性的JavaScript框架,广泛应用于构建现代化的用户界面。组件是Vue.js的核心概念之一,它使得应用的结构化和可维护性大大增强。本文将深入探讨Vue.js组件开发的高级技巧,包括组件的设计模式、优化策略、状态管理、插件......
  • GaussDB数据类型介绍
    @目录一、GaussDB数据库二、数据类型概念及特点三、常用数据类型1、常用字符串类型介绍2、布尔类型3、数值类型4、日期/时间类型四、数据类型选择建议一、GaussDB数据库GaussDB是华为基于openGauss自研生态推出的云化企业级分布式关系型数据库,它支持多种数据类型,包括数值、字......