- 2024-11-16PostgreSQL WALMINER 插件的安装和数据恢复
我们说数据恢复是数据库DBA在日常数据库维护过程中一项难点技能,也是标志一个人是否达到DBA的重要指标。其他关系型数据库比如常用的MySQLSQLServerOracle等都有一些比较成熟的产品可以直接恢复。但是PostgreSQL比较特殊一些,不好直接解析WAL日志。或者直接解析也是
- 2024-11-10InnoDB 存储引擎<六> Redo log
目录关于RedoLog的一些其余问题小结本篇承接自InnoDB存储引擎<五>的内容InnoDB存储引擎<五>关于RedoLog的一些其余问题4.不同⽇志类型对应了哪些操作?分析过程:1.⽇志类型总体可以分为三⼤类,分别是:⽤于数据⻚的⽇志类型、⽤于表空间⽂件的⽇志类型和提供额外信
- 2024-11-09科普文:软件架构数据库系列之【MySQL:innodb刷脏页之Checkpoint机制详解】
概叙科普文:软件架构数据库系列之【MySQL/innodb刷脏页】-CSDN博客科普文:软件架构数据库系列之【innodb内存管理四剑客:LRU算法+Free_list、LRU_list、FlushList】-CSDN博客科普文:软件架构数据库系列之【MySQL:innodb刷脏页多线程的源码解读】-CSDN博客CheckPoint是MySQL的WA
- 2024-10-29GaussDB事务存储组件
事务存储组件云原生数据库支持透明多写,所有节点对等,每个计算节点都可以读写全部的数据页面,事务在本节点执行,没有分布式事务。每个计算节点都有Localbufferpool,采用Remotememorypool扩展计算节点的内存,在多个计算节点之间共享buffer地址,避免页面在多个计算节点之间传来传去。
- 2024-09-23pgsql 查看日志文件大小、数据目录、运行日志相关配置、当前lsn
常用命令 查看数据目录 showdata_directory; 是否开启归档 showarchive_mode; --查看日志目录所有文件select*frompg_ls_logdir();--查看/data目录下的文件selectpg_ls_dir('/data'); 输出数据库WAL目录的所有文件--输出文件总大小,单位是byte select
- 2024-09-02详细分析MySQL事务日志(redo log和undo log)
innodb事务日志包括redolog和undolog。redolog是重做日志,提供前滚操作,undolog是回滚日志,提供回滚操作。undolog不是redolog的逆向过程,其实它们都算是用来恢复的日志:1.redolog通常是物理日志,记录的是数据页的物理修改,而不是某一行或某几行修改成怎样怎样,它用来恢复提交后的
- 2024-08-30PG复制槽的原理
什么是PG复制槽?PG复制槽用于记录主备流复制的状态,主要目的是防止wal日志被过早的删除,导致备库流复制中断。复制槽是有状态的,能够持久化到磁盘上,允许宕机、重启场景下进行恢复。在有复制槽的场景下,即使备库关闭很长时间,主库也会为其保留足够的wal日志,直到备库恢复接收完这
- 2024-08-11zabbix-agent自定义配置监控项
zabbix-agent自定义配置监控项1.环境准备本例中安装zabbix开源软件和zabbix运行所需的中间件和数据库apache、php和postgres,软件版本信息如下:软件版本zabbixZabbix6.4.0apachehttpd-2.4.57aprapr-1.7.4apr-util1.6.3php8.2.6sqlite-autoconf342
- 2024-08-11PostgreSQL的同步异步复制简介及互相转换
PostgreSQL的同步/异步复制简介及互相转换一、介绍1.概念1.1.同步流复制同步流复制就是当主库发生变化,比如有一条DML语句产生了WAL日志后,通过后台进程传送到备库,备库必须要应用这个日志,然后向主库返回一个成功应用的信号,主库才可以成功的commit;否则主库会一直等待到备库成功
- 2024-08-06【YashanDB数据库】VMware虚拟机使用默认安装,在掉电之后数据库无法启动
问题现象客户使用VMware虚拟机使用默认安装,部署YashanDB个人版,在掉电之后无法启动操作系统:Virtualization:VMwareOperatingSystem:CentOSLinux7(Core)CPEOSName:cpe:/o:centos:centos:7Kernel:Linux3.10.0-1160.el7.x86_64Architecture:x86-64[yashan@localho
- 2024-07-15来聊一聊MySQL InnoDB的LSN
前言在MySQL的InnoDB存储引擎中,LSN(日志序列号)其实是一个非常重要的概念。它用来标识数据库某一特点时间点和状态。并在事务管理,崩溃恢复和数据一致性维护中发生重要作用。下面,我们来讲下LSN的实现机制。包括其生成、管理和使用方式。什么是LSNLSN是全局递增的序列号。
- 2024-07-07基于 LSN 的 PostgreSQL 数据管理与恢复
在数据管理和恢复中,LSN(LogSequenceNumber)起着至关重要的作用。本文将深入探讨LSN在PITR(时间点恢复)、流复制、日志记录以及数据一致性中的具体应用,并详细介绍如何基于LSN进行时间点恢复。1.基本概念1.1LSNLSN(LogSequenceNumber,日志序列号)是PostgreSQL中用于
- 2024-04-2421. CheckPoint
CheckPoint的作用缩短数据库的恢复时间数据库宕机恢复依赖redolog。当恢复时不需要重做所有日志,因为CheckPoint之前的页都已经刷盘,只需要对CheckPoint之后的日志进行恢复,从而缩短恢复时间缓冲池不够用时,将脏页刷新到磁盘当缓冲池不够时,LRU算法会溢出最近最少使用的页,若
- 2024-04-09Postgres 数据库(一)基本命令
一、主备数据一致性1、通过wal检测两个数据库实例数据是否一致(该sql语句需要在主库上执行)1.1pg_stat_replication可以进行流复制监控(pg_stat_replication视图显示WAL发送进程的详细信息)postgres=#SELECT*FROMpg_stat_replication;-[RECORD1]--—-----+-—--------
- 2024-03-29KingbaseES集群运维案例之-- V8R3与V8R6集群wal函数应用
案例说明:KingbaseESV8R3和V8R6集群在通过函数获取wal日志的相关信息时,两个版本的函数名称不同,本案例做了函数应用的对比和总结。适用版本:KingbaseESV8R3/R6一、KingbaseESV8R3相关函数Tips:在V8R3的版本,事务日志名称为xlog。1、查询数据库支持的函数test=#selectpron
- 2024-01-15监控复制:PG_STAT_REPLICATION
PostgreSQL复制(同步和异步复制)是数据库社区中最广泛使用的功能之一。如今,人们正在构建高可用性集群或使用复制来创建只读副本来分散工作负载。这里需要注意的是,如果您使用复制,则必须确保您的集群受到正确监控。这篇文章的目的是解释一些基础知识,以确保您的PostgreSQL集群保持
- 2024-01-02Timescaledb异步流复制标准步骤
Timescaledb环境信息postgresql部署总览备注说明主节点192.168.111.136/24从节点192.168.111.134/24用户和组规划Postgres使用Postgres用户部署和管理端口规划5432默认5432通信端口部署路径/app/timescaledb/data数据安装位置安装包/app/timescaledb/rpmpostgresql12-12.4-1PGDG.rh
- 2023-12-01PG14归档失败解决办法archiver failed on wal_lsn
案例1:pg_wal下有wal_lsn文件案例1适用于以下场景:pg_wal下有该wal_lsn文件而归档目录下无该wal_lsn文件pg_wal和归档目录下同时都有该wal_lsn文件问题描述昨晚Repmgr+PG14主备主库因wal日志撑爆磁盘,删除主库过期wal文件重做备库后上午进行主备状态巡查,主库向备库发送wal文件正常,但
- 2023-11-09MySQL学习(14)redo日志
前言InnoDB存储引擎以页为单位从磁盘中加载到内存中,进行数据的管理。我们进行增删改查操作本质上是访问页面,其中包括读页面、写页面、创建新页面等操作。在访问页面之前,需要将页从磁盘中加载到BufferPool中才可以访问。在BufferPool中修改了数据后,会加入到flush链表中,但是flush
- 2023-10-10KingbaseES V8R6集群运维案例之---查看主备流复制之间的延迟
案例说明:在主备流复制集群运维过程中,对于同步复制节点,在读写分离环境应用需要强一致性访问时,需要监控主备之间流复制的延迟。适用版本:KingbaseESV8R6一、主库查询流复制延迟1、通过sys_stat_replication获取sent_lsn、write_lsn、flush_lsn、replay_lsn获取备库延迟信息
- 2023-09-25kingbaseES主备集群添加/删除节点
测试环境 IPVIPOSDB主库168.3.1.212168.3.1.214rhel7.6KingbaseESV008R006C007B0012备库1168.3.1.213168.3.1.214rhel7.6KingbaseESV008R006C007B0012备库2168.3.1.215168.3.1.214rhel7.6KingbaseESV008R006C007B0012测试记录1.检查当前集群状态是否正常repmgrclustershow2.
- 2023-09-21postgresql主从复制状态检查
确定主从库方法一ps-ef|grep"wal"|grep-v"grep如果输出walsender…streaming进程说明当前数据库为主库如果输出walreceiverstreaing进程说明当前数据库为备用库方法二select*frompg_stat_replication;在主库上查询pg_stat_replication视图,如果返回记录说明是主库,备库上
- 2023-09-11PostgreSQL数据库从入门到精通系列之五:深入理解lsn_proc、lsn_commit、lsn、txId、ts_usec
PostgreSQL数据库从入门到精通系列之五:深入理解lsn_proc、lsn_commit、lsn、txId、ts_usec一、深入理解lsn_proc二、深入理解lsn_commit三、深入理解lsn四、深入理解txId五、深入理解ts_usec一、深入理解lsn_proc在PostgreSQL中,lsn_proc是一个内置函数,用于将逻辑日志位置(LSN)转换
- 2023-09-03POSTGRESQL WAL 日志问题合集之WAL 如何解析
最近经常有同学会问关于WAL的问题,问能不能总结一下,这里我们总结关于WALwrite aheadlog的问题的一个系列在PostgreSQL writeaheadlog的解析部分,pg_waldump是必须被提起的工具,并且这个工具在不同的版本中都有变化,pg_waldump工具最早是产生于PG9.3作为一个contribmodule
- 2023-07-29使用 AlwaysOn 可用性组只读辅助副本执行事务日志备份 - 第 1 部分
什么是日志序列号(LSN)?在对AlwaysOn可用性组进行故障排除时,有多个DMV引用各种LSN(日志序列号)。此外,备份和恢复操作经常引用并输出LSN值。那么什么是LSN呢?LSN是一个序列号,用于维护数据库内的顺序和跟踪操作。LSN可以是十进制形式或十六进制形式,具体取决于引用它的位置。大