首页 > 其他分享 >GaussDB技术解读——GaussDB架构介绍之全局事务管理层(GTM)关键技术方案

GaussDB技术解读——GaussDB架构介绍之全局事务管理层(GTM)关键技术方案

时间:2024-11-25 15:57:52浏览次数:3  
标签:DN 事务 CSN 关键技术 GaussDB GTM csn

GTM 仅处理全局时间戳请求, 64位CSN递增,几乎都是CPU ++和消息收发操作。不是每次都写ETCD, 而是采用定期持久化到ETCD 里, 每次写ETCD的CSN要加上一个backup_step (100w), 一旦GTM故障,CSN从ETCD读取出来的值保证单调递增。当前GTM 只完成CSN++, 预估可以支持200M/s 请求。GTM处理获取csn消息和csn++的消息, TCP 协议栈消耗CPU会非常严重,采用用户态协议栈提高GTM单节点的处理能力。未来架构演进完全去中心化,采用高精度时钟解决扩展性问题。

5.1 单节点的事务

在这里插入图片描述

图2 单节点事务处理流程

关键设计:

GTM 只维护一个CSN++, snapshot 只包含CSN

DN 本地维护事务id, 维护id到CSN的映射(CSN_LOG)

DN 本地GC的过程中回填CSN

单shared读事务使用local snapshot:

get local latest CSN + get prepared_xid

wait csn commit in process(same as before)

如果row.csn < localsnapshot.csn || xid in prepared_xid list 可见, 否则不可见

5.2 跨节点事务

在这里插入图片描述

图3 跨节点事务处理流程

关键设计:

第二阶段Commit 改为异步方式,只同步做prepare xact。(1.5 PC)

DN 上行级别可见性判断:

DN处于prepared状态的事务依赖对应CN上的事务是否提交,如果已经提交,且CSN比snapshot.CSN小,就可见

对DN上处于prepared的事务,CN上的事务不处于提交状态,则必须判断是否残留状态,回滚。

https://carrier.huawei.com/cn/products/it-new/cloud/dws

标签:DN,事务,CSN,关键技术,GaussDB,GTM,csn
From: https://www.cnblogs.com/xiaoxu0211/p/18567673

相关文章

  • GaussDB技术解读——GaussDB架构介绍之数据持久化存取层(DataNode)关键技术方案
    数据持久化存取层(DataNode)关键技术方案Datanode节点主要负责数据的持久化和快速写入、读取。数据持久化采用物理日志wal,事务提交wal刷盘,对外提供逻辑日志功能,反解析物理日志为SQL逻辑日志。图1datanode数据持久化Astore:存储格式为追加写优化设计,其多版本元组采用新、老版......
  • GaussDB 24
    GaussDB介绍华为自主创新研发的分布式关系型数据库。该产品具备企业级复杂事务混合负载能力,同时支持分布式事务,同城跨AZ部署,数据0丢失,支持1000+的扩展能力,PB级海量存储。同时拥有云上高可用,高可靠,高安全,弹性伸缩,一键部署,快速备份恢复,监控告警等关键能力,能为企业提供功能全面,稳定......
  • GaussDB技术解读——GaussDB架构介绍之OM运维管理关键技术方案
    ​GaussDBKernelV5OM运维管理关键模块如下。OM运维主要功能有:安装升级节点替换扩容、缩容自动告警巡检备份恢复、容灾日志分析系统在华为云的部署模式下,OM相关组件部署示意图如下:图7华为云OM运维管理用户登录华为云Console,访问GaussDBKernelV5的管控页面,输入......
  • 【资金趋势指标】安全买点的组合选股和指标操盘关键技术解密,操盘训练营核心技术点
    如上图,指标想要运用到精妙之处,我们就需要找到组合优化效用最大化的位置操作,如上图组合指标,我们主图选择【翻倍密码系统】,副图选择【资金趋势双档】副图指标。在上图标记AB两个买点位置,有什么需要注意的关键信号呢?(1)主图来看波段行情和趋势行情,紫色K线处于波段和趋势多头行情......
  • 一图为你揭秘云数据库GaussDB管理平台亮点
    云数据库GaussDB管理平台(TPOPS)是一款即开即用、稳定可靠、管理便捷的数据库运维管理平台。通过该平台,用户可以快速部署安装GauSSDB,实现智能化运维,大幅度提升运维和管理效率。一图带你揭秘云数据库GaussDB管理平台亮点。 华为开发者空间,汇聚鸿蒙、昇腾、鲲鹏、GaussDB、欧拉等......
  • 开发一个API接口需要懂的关键技术
    开发一个API接口涉及多种关键技术,这些技术协同工作以确保API的高效、安全和易用。以下是五个关键技术及其简要解释:1. 后端编程语言作用和重要性:后端编程语言用于编写API的服务器端逻辑。它处理客户端请求,执行必要的业务逻辑,并返回响应。选择合适的语言(如Node.js、Python、J......
  • 单片机中断机制:提升系统效率与响应能力的关键技术
    单片机中断机制:提升系统效率与响应能力的关键技术在当今快速发展的嵌入式系统领域,单片机(MicrocontrollerUnit,MCU)作为核心控制单元,其性能与功能直接影响到整个系统的运行效率与可靠性。在众多关键技术中,中断机制(InterruptMechanism)作为单片机实现高效多任务处理的重要手段,......
  • GaussDB SQL调优:建立合适的索引
    ​背景GaussDB是华为公司倾力打造的自研企业级分布式关系型数据库,该产品具备企业级复杂事务混合负载能力,同时支持优异的分布式事务,同城跨AZ部署,数据0丢失,支持1000+扩展能力,PB级海量存储等企业级数据库特性。拥有云上高可用,高可靠,高安全,弹性伸缩,一键部署,快速备份恢复,监控告警等关......
  • 通过公网连接GaussDB数据库实例
    @目录1.通过公网连接GaussDB1.1实验介绍1.1.1关于本实验1.1.2实验目的1.2购买GaussDB数据库(可选)1.3公网IP绑定1.3.1购买弹性公网IP1.3.2绑定GaussDB数据库2附录一:安装和配置JDK2.1下载并安装JDK2.2配置JDK环境变量本实验概览图1.通过公网连接GaussDB1.1实验介绍......
  • 万元购车平台源码开发总结与关键技术解析
    1.需求分析· 市场与用户调研:首先明确市场需求,了解用户群体(如购车者、经销商、平台管理者等)的具体需求。· 功能定义:确定系统需要支持的功能,如用户注册登录、车辆信息展示、公排规则设定、订单管理、支付接口集成、数据分析与报表等。· 非功能性需求:考虑系统的性能、可扩展性......