首页 > 其他分享 >openGauss MOT持久性

openGauss MOT持久性

时间:2024-04-29 14:56:46浏览次数:19  
标签:事务 WAL 记录 MOT 持久性 openGauss 日志 重做

MOT持久性

持久性是指长期的数据保护(也称为磁盘持久化)。持久性意味着存储的数据不会遭受任何形式的退化或损坏,因此数据不会丢失或损坏。持久性可确保在有计划停机(例如维护)或计划外崩溃(例如电源故障)后数据和MOT引擎恢复到一致状态。

内存存储是易失的,需要电力来维护所存储的信息。另一方面,磁盘存储是非易失性的,这意味着它不需要电源来维护存储的信息,因此不用担心停电。MOT同时使用这两种类型的存储。内存中存储了所有数据,同时将事务性更改持久化到磁盘,并保持频繁的定期MOT检查点,以确保在关机时恢复数据。

用户必须保证有足够的磁盘空间用于日志记录和检查点操作。检查点使用单独的驱动器,通过减少磁盘I/O负载来提高性能。

参考MOT关键技术了解如何在MOT引擎中实现持久化。

若要设置持久性:

为保证严格一致性,请在postgres.conf配置文件中将参数sync_commit配置为On。

MOT的WAL重做日志和检查点开启持久性,下面将详细介绍。

MOT日志记录:WAL重做日志

为保证持久性,MOT全面集成openGauss的WAL机制,通过openGauss的XLOG接口持久化WAL记录。这意味着,每次MOT记录的添加、更新和删除都记录在WAL中。确保了可以从这个非易失性日志重新生成和恢复最新的数据状态。例如,如果向表中添加了3行,删除了2行,更新了1行,那么日志中将记录6个条目。

MOT日志记录和openGauss磁盘表的其他记录写入同一个WAL中。

MOT只记录事务提交阶段的操作。

MOT只记录更新的增量记录,以便最小化写入磁盘的数据量。

在恢复期间,从最后一个已知或特定检查点加载数据;然后使用WAL重做日志完成从该点开始发生的数据更改。

WAL重做日志将保留所有表行修改,直到执行检查点(如上所述)。然后可以截断日志,以减少恢复时间和节省磁盘空间。

注意:为确保日志IO设备不会成为瓶颈,日志文件必须放在具有低延迟的驱动器上。

MOT日志类型

支持两个同步事务日志选项和一个异步事务日志选项(标准openGauss磁盘引擎也支持这些选项)。MOT还支持同步的组提交日志记录与NUMA-aware优化,如下所述。

根据您的配置,实现以下类型的日志记录:

  • 同步重做日志记录

    同步重做日志记录选项是最简单、最严格的重做日志记录器。当客户端应用程序提交事务时,事务重做条目记录在WAL重做日志中,如下所示:

    1. 当事务正在进行时,它存储在MOT内存中。

    2. 事务完成后,客户端应用程序发送Commit命令,该事务被锁定,然后写入磁盘上的WAL重做日志。当事务日志条目写入日志时,客户端应用程序仍在等待响应。

    3. 一旦事务的整个缓冲区被写入日志,就更改内存中的数据,然后提交事务。事务提交后,通知客户端应用程序事务完成。

      总结

      同步重做日志记录选项是最安全、最严格的,因为它确保了客户端应用程序和每个事务提交时的WAL重做日志条目的完全同步,从而确保了总的持久性和一致性,并且绝对不会丢失数据。此日志记录选项可防止客户端应用程序在事务尚未持久化到磁盘时将事务标记为成功的情况。

      同步重做日志记录选项的缺点是,它是三个选项中最慢的日志机制。因为客户端应用程序必须等待所有数据都写入磁盘,并且磁盘写入过于频繁导致数据库变慢。

  • 组同步重做日志记录

    组同步重做日志记录选项与同步重做日志记录选项非常相似,它确保完全持久性,绝对不会丢失数据,并保证客户端应用程序和WAL重做日志条目的完全同步。不同的是,组同步重做日志记录选项将事务重做条目组同时写入磁盘上的WAL重做日志,而不是在提交时写入每个事务。使用组同步重做日志记录可以减少磁盘I/O数量,从而提高性能,特别是在运行繁重的工作负载时。

    MOT引擎通过根据运行事务的核的NUMA槽位自动对事务进行分组,使用NUMA感知优化来执行同步的组提交记录。

    有关NUMA-aware内存访问的更多信息,请参阅NUMA-aware分配和亲和性

    当一个事务提交时,一组条目记录在WAL重做日志中,如下所示:

    1. 当事务正在进行时,它存储在内存中。MOT引擎根据运行事务的核的NUMA槽位对桶中的事务进行分组。在同一槽位上运行的所有事务都被分组在一起,并且多个组将根据事务运行的核并行填充。

      这样,将事务写入WAL更为有效,因为来自同一个槽位的所有缓冲区都一起写入磁盘。

      注意:每个线程在属于单槽位的单核/CPU上运行,每个线程只写在各自运行的核的槽位上。

    2. 在事务完成并且客户端应用程序发送Commit命令之后,事务重做日志条目将与同组的其他事务一起序列化。

    3. 当特定一组事务满足配置条件后,如重做日志(MOT)小节中描述的已提交的事务数或超时时间,该组中的事务将被写入磁盘的WAL中。当这些日志条目被写入日志时,发出提交请求的客户端应用程序正在等待响应。

    4. 一旦NUMA-aware组中的所有事务缓冲区都写入日志,该组中的所有事务都将对内存存储执行必要的更改,并且通知客户端这些事务已完成。

      总结

      组同步重做日志记录选项是一个极其安全和严格的日志记录选项,因为它确保了客户端应用程序和WAL重做日志条目的完全同步,从而确保了总的持久性和一致性,而且绝对不会丢失数据。此日志记录选项可防止客户端应用程序在事务尚未持久化到磁盘时将事务标记为成功的情况。

      该选项的磁盘写入次数比同步重做日志记录选项少,这可能意味着它更快。缺点是事务被锁定的时间更长。在同一NUMA内存中的所有事务都写入磁盘的WAL重做日志之前,它们一直处于锁定状态。

      是否使用此选项取决于事务工作负载的类型。例如,此选项有利于事务较多的系统。而对于事务少的系统而言,磁盘写入量也很少,因此不建议使用。

  • 异步重做日志记录

    异步重做日志记录选项是最快的日志记录方法,但是它不能确保数据不会丢失,某些仍位于缓冲区中且尚未写入磁盘的数据在电源故障或数据库崩溃时可能会丢失。当客户端应用程序提交事务时,事务重做条目将记录在内部缓冲区中,并按预先配置的时间间隔写入磁盘。客户端应用程序不会等待数据写入磁盘。它将继续进行下一个事务。这就是异步重做日志记录最快的原因。

    当客户端应用程序提交事务时,事务重做条目记录在WAL重做日志中,如下所示:

    1. 当事务正在进行时,它存储在MOT内存中。

    2. 在事务完成并且客户端应用程序发送Commit命令后,事务重做条目将被写入内部缓冲区,但尚未写入磁盘。然后更改MOT数据内存,并通知客户端应用程序事务已提交。

    3. 后台运行的重做日志线程按预先配置的时间间隔收集所有缓存的重做日志条目,并将它们写入磁盘。

      总结

      异步重做日志记录选项是最快的日志记录选项,因为它不需要客户端应用程序等待数据写入磁盘。此外,它将许多事务重做条目分组并把它们写入一起,从而减少降低MOT引擎速度的磁盘I/O数量。

      异步重做日志记录选项的缺点是它不能确保在崩溃或失败时数据不会丢失。已提交但尚未写入磁盘的数据在提交时是不持久的,因此在出现故障时无法恢复。异步重做日志记录选项对于愿意牺牲数据恢复(一致性)而不是性能的应用程序来说最为适用。

配置日志

标准openGauss磁盘引擎支持两个同步事务日志选项和一个异步事务日志选项。

配置日志记录

  1. 在postgres.conf配置文件中的synchronous_commit = On参数中指定是否执行同步或异步事务日志记录。
  2. 在重做日志章节中的mot.conf配置文件里,将enable_redo_log参数设置为True。

如果已选择事务日志记录的同步模式(如上文所述,synchronous_commit = On),则在mot.conf配置文件中的enable_group_commit参数中指定Group Synchronous Redo Logging选项或Synchronous Redo Logging选项。如果选择Group Synchronous Redo Logging,必须在mot.conf文件中定义以下阈值,决定何时将一组事务记录在WAL中。

  • group_commit_size:一组已提交的事务数。例如,16表示当同一组中的16个事务已由它们的客户端应用程序提交时,则针对16个事务中的每个事务,在磁盘的WAL重做日志中写入一个条目。
  • group_commit_timeout:超时时间,单位为毫秒。例如,10表示在10毫秒之后,为同一组由客户端应用程序在最近10毫秒内提交的每个事务,在磁盘的WAL重做日志中写入一个条目。

说明:

有关配置的详细信息,请参阅重做日志(MOT)

MOT检查点

检查点是一个时间点。在这个时间点,表行的所有数据都保存在持久存储上的文件中,以便创建完整持久的数据库镜像。这是一个数据在某个时间点的快照。

检查点减少了为确保持久性而必须重放的WAL重做日志条目的数量,以此缩短数据库的恢复时间。检查点还减少了保存所有日志条目所需的存储空间。

如果没有检查点,那么为了恢复数据库,所有WAL重做条目必须从开始时间进行重放,可能需要几天或几周的时间,这取决于数据库中的记录数量。检查点记录数据库的当前状态,并允许丢弃旧的重做条目。

检查点在恢复方案(特别是冷启动)中是必不可少的。首先,从最后一个已知或特定检查点加载数据;然后使用WAL完成此后发生的数据更改。

例如,如果同一表行被修改100次,则日志中将记录100个条目。当使用检查点后,即使表行被修改了100次,检查点也可以一次性记录。在记录检查点之后,可以基于该检查点执行恢复,并且只需要播放自该检查点之后发生的WAL重做日志条目。

详情查看:https://opengauss.org

详情查看:https://docs-opengauss.osinfra.cn

标签:事务,WAL,记录,MOT,持久性,openGauss,日志,重做
From: https://www.cnblogs.com/renxyz/p/18165506

相关文章

  • openGauss MOT持久性概念
    MOT持久性概念持久性是指长期的数据保护(也称为磁盘持久性)。持久性意味着存储的数据不会遭受任何形式的退化或破坏,因此数据不会丢失或损坏。持久性可确保在有计划停机(例如维护)或计划外崩溃(例如电源故障)后数据和MOT引擎恢复到一致状态。内存存储是易失的,需要电源来维护所存储的信......
  • openGauss MOT错误消息
    MOT错误消息错误可能由多种场景引起。所有错误都记录在数据库服务器日志文件中。此外,与用户相关的错误作为对查询、事务或存储过程执行或数据库管理操作的响应的一部分返回给用户。服务器日志中报告的错误包括函数、实体、上下文、错误消息、错误描述和严重性。向用户报告的错......
  • openGauss MOT查询原生编译_JIT
    MOT查询原生编译(JIT)MOT使您可以在执行之前以原生格式(使用PREPARE语句)准备并分析预编译的完整查询。这种本机格式以后可以更有效地执行(使用EXECUTE命令)。这种类型的执行效率要高得多,因为在执行期间,本机格式绕过了多个数据库处理层。这种分工避免了重复的解析分析操作。LiteExecu......
  • openGauss MOT性能基准
    MOT性能基准我们的性能测试是基于业界和学术界通用的TPC-C基准。测试使用了BenchmarkSQL(请参见MOT样例TPC-C基准),并且使用交互式SQL命令而不是存储过程来生成工作负载。说明:使用存储过程方法可能会产生更高的性能结果,因为它需要大大减少网络往返和数据库封装SQL处理周期。......
  • openGauss MOT外部支持工具
    MOT外部支持工具为了支持MOT,修改了以下外部openGauss工具。请确保使用的工具是最新版本。下面将介绍与MOT相关的用法。有关这些工具及其使用方法的完整说明,请参阅《工具与命令参考》。gs_ctl(全量和增量)此工具用于从主服务器创建备服务器,以及当服务器的时间线偏离后,将服务器与其......
  • openGauss MOT索引
    MOT索引MOT索引基于最先进的Masstree[对比:磁盘与MOT]的免锁索引,用于多核系统的快速和可扩展的键值(KV)存储,通过B+树的Trie实现。在多核服务器和高并发工作负载上,性能优异。它使用各种先进的技术,如乐观锁方法、缓存感知和内存预取。在比较了各种最先进的解决方案(如[对比:磁盘与MOT],[......
  • openGauss MOT特性及价值
    MOT特性及价值MOT在高性能(查询和事务延迟)、高可扩展性(吞吐量和并发量)甚至在某些情况下成本(高资源利用率)这些方面拥有显著优势。低延迟(LowLatency):提供快速的查询和事务响应时间。高吞吐量(HighThroughput):支持峰值和持续高用户并发。高资源利用率(HighResourceUtilization):充......
  • openGauss MOT统计
    MOT统计统计信息主要用于性能分析或调试。在生产环境中,通常不打开它们(默认是关闭的)。统计信息主要由数据库开发人员使用,数据库用户较少使用。对性能有一定影响,特别是对服务器。对用户的影响可以忽略不计。统计信息保存在数据库服务器日志中。该日志位于data文件夹中,命名为postg......
  • openGauss MOT使用
    MOT使用使用MOT非常简单,以下几个小节将会进行描述。openGauss允许应用程序使用MOT和基于标准磁盘的表。MOT适用于最活跃、高竞争和对吞吐量敏感的应用程序表,也可用于所有应用程序的表。以下命令介绍如何创建MOT,以及如何将现有的基于磁盘的表转换为MOT,以加速应用程序的数据库相......
  • openGauss MOT使用概述
    MOT使用概述MOT作为openGauss的一部分自动部署。有关如何计算和规划所需的内存和存储资源以维持工作负载的说明,请参阅MOT准备。参考MOT部署了解MOT中所有的配置,以及服务器优化的非必须选项。使用MOT的方法非常简单。MOT命令的语法与基于磁盘的表的语法相同,并支持大多数标准,如Pos......