首页 > 其他分享 >GaussDB技术解读——GaussDB架构介绍之全局事务管理层(GTM)关键技术方案

GaussDB技术解读——GaussDB架构介绍之全局事务管理层(GTM)关键技术方案

时间:2025-01-15 15:57:22浏览次数:1  
标签:DN 事务 CSN 关键技术 GaussDB GTM csn

GTM 仅处理全局时间戳请求, 64位CSN递增,几乎都是CPU ++和消息收发操作。不是每次都写ETCD, 而是采用定期持久化到ETCD 里, 每次写ETCD的CSN要加上一个backup_step (100w), 一旦GTM故障,CSN从ETCD读取出来的值保证单调递增。当前GTM 只完成CSN++, 预估可以支持200M/s 请求。GTM处理获取csn消息和csn++的消息, TCP 协议栈消耗CPU会非常严重,采用用户态协议栈提高GTM单节点的处理能力。未来架构演进完全去中心化,采用高精度时钟解决扩展性问题。

5.1 单节点的事务

在这里插入图片描述

图2 单节点事务处理流程

关键设计:

GTM 只维护一个CSN++, snapshot 只包含CSN

DN 本地维护事务id, 维护id到CSN的映射(CSN_LOG)

DN 本地GC的过程中回填CSN

单shared读事务使用local snapshot:

get local latest CSN + get prepared_xid

wait csn commit in process(same as before)

如果row.csn < localsnapshot.csn || xid in prepared_xid list 可见, 否则不可见

5.2 跨节点事务

在这里插入图片描述

图3 跨节点事务处理流程

关键设计:

第二阶段Commit 改为异步方式,只同步做prepare xact。(1.5 PC)

DN 上行级别可见性判断:

DN处于prepared状态的事务依赖对应CN上的事务是否提交,如果已经提交,且CSN比snapshot.CSN小,就可见

对DN上处于prepared的事务,CN上的事务不处于提交状态,则必须判断是否残留状态,回滚。

标签:DN,事务,CSN,关键技术,GaussDB,GTM,csn
From: https://www.cnblogs.com/xiaoxu0211/p/18673198

相关文章

  • GaussDB技术解读——GaussDB架构介绍之集群管理层(CM)关键技术方案
    GaussDBKernelV5集群管理层关键模块如下。图4集群管理层组件设计图CM组件提供了四种服务CMAgent,CMServer,OMMonitor,cm_ctl,与各类实例服务组件(CN,DN,GTM等)一起构成了整个数据库集群系统。cm_ctl通过命令行执行集群的启动、停止、状态查询、主备倒换、备机重......
  • GaussDB技术解读——GaussDB架构介绍之OM运维管理关键技术方案
    ​GaussDBKernelV5OM运维管理关键模块如下。OM运维主要功能有:安装升级节点替换扩容、缩容自动告警巡检备份恢复、容灾日志分析系统在华为云的部署模式下,OM相关组件部署示意图如下:图7华为云OM运维管理用户登录华为云Console,访问GaussDBKernelV5的管控页面,输入......
  • GaussDB 24
    GaussDB介绍华为自主创新研发的分布式关系型数据库。该产品具备企业级复杂事务混合负载能力,同时支持分布式事务,同城跨AZ部署,数据0丢失,支持1000+的扩展能力,PB级海量存储。同时拥有云上高可用,高可靠,高安全,弹性伸缩,一键部署,快速备份恢复,监控告警等关键能力,能为企业提供功能全面,稳定......
  • 注意力机制:深度学习中的关键技术
    LLM架构从基础到精通之注意力机制本文2w字,阅读时长~~看速度2025年01月14日晴零下3度1.LLM大模型架构专栏||从NLP基础谈起2.LLM大模型架构专栏||自然语言处理(NLP)之建模3.LLM大模型架构之词嵌入(Part1)4.LLM大模型架构之词嵌入(Part2)5.LLM大模型架构之词嵌入(Part3......
  • 探索DevOps文化与实践:未来的关键技术趋势
      探索DevOps文化与实践:未来的关键技术趋势 序言:迎接敏捷与效率的明天 随着现代科技和网络的不断演进,软件开发领域面临着前所未有的机遇和挑战。 我们正处于一个以技术为驱动的社会环境中,每个行业都寻求采用最先进的方法和技术来提升业务效率与用户体验。 一、......
  • 关于GTM,这些评价指标你都知道吗?
    GoalTrackingMetric(目标跟踪指标)是营销、数据分析及业务管理领域中用于衡量特定业务或营销目标实现情况的一系列关键绩效指标(KPIs)。这些指标帮助企业或组织明确其业务目标,跟踪并评估其营销活动或业务策略的有效性,以及识别潜在的改进机会。目标跟踪指标通常基于企业或组织的长......
  • 详解GaussDB事务和并发控制机制,提升事务并发处理效率
    摘要:本文着重介绍了GaussDB的事务管理和并发控制机制,GaussDB采用多版本并发控制和两阶段锁相结合的机制。本文分享自华为云社区《华为云开发者云主机体验【玩转华为云】》,作者:GaussDB数据库。 事务是数据库的核心功能之一,其主要目的是保障数据库系统在并发处......
  • 探索伦理AI:未来的关键技术趋势
    以下是一个使用HTML标记构建的页面结构,用来呈现这篇题为《探索伦理AI:未来的关键技术趋势》的文章内容:```html 探索伦理AI:未来的关键技术趋势引言随着人工智能的飞速发展,AI伦理逐渐成为社会各界关注的焦点。本文旨在探索未来的AI技术趋势与面临的道德挑战,探讨如何在科......
  • GaussDB修改账户登录失败后不锁定
    GaussDB中的GUC参数failed_login_attempts代表用户在连续输入错误密码被锁定的次数,默认值为10。当用户解锁用户后,重新登录还是被锁,说明在解锁后仍有其他客户端再次使用错误的密码尝试连接的次数超过GUC参数failed_login_attempts的值导致用户在此被锁。分布式下gs_gucreload......
  • 探索环境监测与保护技术:未来的关键技术趋势
    **--- 探索环境监测与保护技术:尚待发展的前沿领域与机遇环境监测与保护技术:随着全球变暖和生态系统破坏的问题日益严峻,人类正寻求创新的方式来预测、应对以及解决这些问题。这些需求促使科学家和工程师研发一系列先进的监测系统与环境保护解决方案。在本文中,我们将探......