LSN
  • 2024-09-23pgsql 查看日志文件大小、数据目录、运行日志相关配置、当前lsn
    常用命令  查看数据目录 showdata_directory; 是否开启归档 showarchive_mode;  --查看日志目录所有文件select*frompg_ls_logdir();--查看/data目录下的文件selectpg_ls_dir('/data'); 输出数据库WAL目录的所有文件--输出文件总大小,单位是byte  select
  • 2024-09-02详细分析MySQL事务日志(redo log和undo log)
    innodb事务日志包括redolog和undolog。redolog是重做日志,提供前滚操作,undolog是回滚日志,提供回滚操作。undolog不是redolog的逆向过程,其实它们都算是用来恢复的日志:1.redolog通常是物理日志,记录的是数据页的物理修改,而不是某一行或某几行修改成怎样怎样,它用来恢复提交后的
  • 2024-08-30PG复制槽的原理
    什么是PG复制槽?PG复制槽用于记录主备流复制的状态,主要目的是防止wal日志被过早的删除,导致备库流复制中断。复制槽是有状态的,能够持久化到磁盘上,允许宕机、重启场景下进行恢复。在有复制槽的场景下,即使备库关闭很长时间,主库也会为其保留足够的wal日志,直到备库恢复接收完这
  • 2024-08-11zabbix-agent自定义配置监控项
    zabbix-agent自定义配置监控项1.环境准备本例中安装zabbix开源软件和zabbix运行所需的中间件和数据库apache、php和postgres,软件版本信息如下:软件版本zabbixZabbix6.4.0apachehttpd-2.4.57aprapr-1.7.4apr-util1.6.3php8.2.6sqlite-autoconf342
  • 2024-08-11PostgreSQL的同步异步复制简介及互相转换
    PostgreSQL的同步/异步复制简介及互相转换一、介绍1.概念1.1.同步流复制同步流复制就是当主库发生变化,比如有一条DML语句产生了WAL日志后,通过后台进程传送到备库,备库必须要应用这个日志,然后向主库返回一个成功应用的信号,主库才可以成功的commit;否则主库会一直等待到备库成功
  • 2024-08-06【YashanDB数据库】VMware虚拟机使用默认安装,在掉电之后数据库无法启动
    问题现象客户使用VMware虚拟机使用默认安装,部署YashanDB个人版,在掉电之后无法启动操作系统:Virtualization:VMwareOperatingSystem:CentOSLinux7(Core)CPEOSName:cpe:/o:centos:centos:7Kernel:Linux3.10.0-1160.el7.x86_64Architecture:x86-64[yashan@localho
  • 2024-07-15来聊一聊MySQL InnoDB的LSN
    前言在MySQL的InnoDB存储引擎中,LSN(日志序列号)其实是一个非常重要的概念。它用来标识数据库某一特点时间点和状态。并在事务管理,崩溃恢复和数据一致性维护中发生重要作用。下面,我们来讲下LSN的实现机制。包括其生成、管理和使用方式。什么是LSNLSN是全局递增的序列号。
  • 2024-07-07基于 LSN 的 PostgreSQL 数据管理与恢复
    在数据管理和恢复中,LSN(LogSequenceNumber)起着至关重要的作用。本文将深入探讨LSN在PITR(时间点恢复)、流复制、日志记录以及数据一致性中的具体应用,并详细介绍如何基于LSN进行时间点恢复。1.基本概念1.1LSNLSN(LogSequenceNumber,日志序列号)是PostgreSQL中用于
  • 2024-04-2421. CheckPoint
    CheckPoint的作用缩短数据库的恢复时间数据库宕机恢复依赖redolog。当恢复时不需要重做所有日志,因为CheckPoint之前的页都已经刷盘,只需要对CheckPoint之后的日志进行恢复,从而缩短恢复时间缓冲池不够用时,将脏页刷新到磁盘当缓冲池不够时,LRU算法会溢出最近最少使用的页,若
  • 2024-04-09Postgres 数据库(一)基本命令
    一、主备数据一致性1、通过wal检测两个数据库实例数据是否一致(该sql语句需要在主库上执行)1.1pg_stat_replication可以进行流复制监控(pg_stat_replication视图显示WAL发送进程的详细信息)postgres=#SELECT*FROMpg_stat_replication;-[RECORD1]--—-----+-—--------
  • 2024-03-29KingbaseES集群运维案例之-- V8R3与V8R6集群wal函数应用
    案例说明:KingbaseESV8R3和V8R6集群在通过函数获取wal日志的相关信息时,两个版本的函数名称不同,本案例做了函数应用的对比和总结。适用版本:KingbaseESV8R3/R6一、KingbaseESV8R3相关函数Tips:在V8R3的版本,事务日志名称为xlog。1、查询数据库支持的函数test=#selectpron
  • 2024-01-15监控复制:PG_STAT_REPLICATION
    PostgreSQL复制(同步和异步复制)是数据库社区中最广泛使用的功能之一。如今,人们正在构建高可用性集群或使用复制来创建只读副本来分散工作负载。这里需要注意的是,如果您使用复制,则必须确保您的集群受到正确监控。这篇文章的目的是解释一些基础知识,以确保您的PostgreSQL集群保持
  • 2024-01-02Timescaledb异步流复制标准步骤
    Timescaledb环境信息postgresql部署总览备注说明主节点192.168.111.136/24从节点192.168.111.134/24用户和组规划Postgres使用Postgres用户部署和管理端口规划5432默认5432通信端口部署路径/app/timescaledb/data数据安装位置安装包/app/timescaledb/rpmpostgresql12-12.4-1PGDG.rh
  • 2023-12-01PG14归档失败解决办法archiver failed on wal_lsn
    案例1:pg_wal下有wal_lsn文件案例1适用于以下场景:pg_wal下有该wal_lsn文件而归档目录下无该wal_lsn文件pg_wal和归档目录下同时都有该wal_lsn文件问题描述昨晚Repmgr+PG14主备主库因wal日志撑爆磁盘,删除主库过期wal文件重做备库后上午进行主备状态巡查,主库向备库发送wal文件正常,但
  • 2023-11-09MySQL学习(14)redo日志
    前言InnoDB存储引擎以页为单位从磁盘中加载到内存中,进行数据的管理。我们进行增删改查操作本质上是访问页面,其中包括读页面、写页面、创建新页面等操作。在访问页面之前,需要将页从磁盘中加载到BufferPool中才可以访问。在BufferPool中修改了数据后,会加入到flush链表中,但是flush
  • 2023-10-10KingbaseES V8R6集群运维案例之---查看主备流复制之间的延迟
    案例说明:在主备流复制集群运维过程中,对于同步复制节点,在读写分离环境应用需要强一致性访问时,需要监控主备之间流复制的延迟。适用版本:KingbaseESV8R6一、主库查询流复制延迟1、通过sys_stat_replication获取sent_lsn、write_lsn、flush_lsn、replay_lsn获取备库延迟信息
  • 2023-09-25kingbaseES主备集群添加/删除节点
    测试环境 IPVIPOSDB主库168.3.1.212168.3.1.214rhel7.6KingbaseESV008R006C007B0012备库1168.3.1.213168.3.1.214rhel7.6KingbaseESV008R006C007B0012备库2168.3.1.215168.3.1.214rhel7.6KingbaseESV008R006C007B0012测试记录1.检查当前集群状态是否正常repmgrclustershow2.
  • 2023-09-21postgresql主从复制状态检查
    确定主从库方法一ps-ef|grep"wal"|grep-v"grep如果输出walsender…streaming进程说明当前数据库为主库如果输出walreceiverstreaing进程说明当前数据库为备用库方法二select*frompg_stat_replication;在主库上查询pg_stat_replication视图,如果返回记录说明是主库,备库上
  • 2023-09-11PostgreSQL数据库从入门到精通系列之五:深入理解lsn_proc、lsn_commit、lsn、txId、ts_usec
    PostgreSQL数据库从入门到精通系列之五:深入理解lsn_proc、lsn_commit、lsn、txId、ts_usec一、深入理解lsn_proc二、深入理解lsn_commit三、深入理解lsn四、深入理解txId五、深入理解ts_usec一、深入理解lsn_proc在PostgreSQL中,lsn_proc是一个内置函数,用于将逻辑日志位置(LSN)转换
  • 2023-09-03POSTGRESQL WAL 日志问题合集之WAL 如何解析
    最近经常有同学会问关于WAL的问题,问能不能总结一下,这里我们总结关于WALwrite aheadlog的问题的一个系列在PostgreSQL writeaheadlog的解析部分,pg_waldump是必须被提起的工具,并且这个工具在不同的版本中都有变化,pg_waldump工具最早是产生于PG9.3作为一个contribmodule
  • 2023-07-29使用 AlwaysOn 可用性组只读辅助副本执行事务日志备份 - 第 1 部分
    什么是日志序列号(LSN)?在对AlwaysOn可用性组进行故障排除时,有多个DMV引用各种LSN(日志序列号)。此外,备份和恢复操作经常引用并输出LSN值。那么什么是LSN呢?LSN是一个序列号,用于维护数据库内的顺序和跟踪操作。LSN可以是十进制形式或十六进制形式,具体取决于引用它的位置。大
  • 2023-07-18postgresql-基本管理
    查看控制文件内容$pg_controldatapg_controlversionnumber:1201Catalogversionnumber:201909212Databasesystemidentifier:7253057961538375212Databaseclusterstate:inproduction....Sizeofalarge-ob
  • 2023-06-29数据库备份、还原与恢复
    开篇一张图,内容全靠编。一本正经de胡说八道:数据库备份、还原与恢复基本概念  如果了解过其它数据库(如oracle)的备份,肯定见过类似这样的一句话:普通完全备份不可以做为增量备份的基备份;或者,执行增量备份时,系统会自动做一次0级的备份(如果没有0级备份)。那为什么其它数据库不可以
  • 2023-04-20Lecture#20 Database Crash Recovery
    上节课介绍到,故障恢复算法由两个部分构成:在事务执行过程中采取的行动来确保出现故障时能够恢复(上节课)在故障发生后的恢复机制,确保原子性、一致性和持久性(本节课)1ARIES本节课介绍的是AlgorithmsforRecoveryandIsolationExploitingSemantics(ARIES),由IBMRese
  • 2023-04-18pg 崩溃恢复篇(一)—— WAL的作用与全页写机制
    WAL(WriteAheadLog)机制最初在7.1版中实现,以减轻服务器崩溃的影响。它也是基于时间点恢复(PITR)和流复制(SR)实现的基础。WAL机制非常复杂,在第一篇中,我们只看看为什么需要WAL,它有什么作用,又会有什么不足。一、 没有WAL的插入操作要看为什么需要有WAL,那就先看看如果没有会怎么样。假设