- 2024-12-31pg_wal 目录下 wal 日志文件异常累积过大
目录背景当前配置分析解决过程1.活动事务未完成2.备份滞后或归档未完成3.保留了过多的WAL文件4.逻辑复制槽未释放5.文件系统问题6.强制触发WAL清理结果lsof+D是啥意思检查进程从名字来看,该wal文件是最小的文件(一般也是最老的wal文件)pg_archivecleanup能删除
- 2024-12-15什么是 Write-Ahead Logging (WAL) 技术?它的优点是什么?MySQL 中是否用到了 WAL?
什么是Write-AheadLogging(WAL)技术?Write-AheadLogging(WAL)是一种用于数据库系统的日志记录技术,它要求在对数据库进行任何修改之前,所有的修改都必须先写入到日志文件中。这样做的目的是为了保证事务的持久性和一致性,确保即使数据库发生崩溃或意外关闭,未完成的事务数据也
- 2024-12-09cmu15545笔记-WAL和数据库恢复
目录总览缓存策略(BufferPoolPolicies)ShadowPaging(No-Steal+Force)SQLiteRollbackMode(Steal+Force)总结WAL(Write-HeadLog)基本思想日志格式(LogSchemes)检查点(CheckPoint)ARIES算法日志序列号事务提交流程模糊检查点(FuzzyCheckPointing)ARIES恢复算法总览该笔记包含了原课
- 2024-12-07influxdb数据库结构小结
转载请注明出处:InfluxDB是一个开源的时序型数据库,它的数据主要存储在三个文件夹中:data、meta 和 wal。data 文件夹:这个文件夹存储的是InfluxDB的数据文件,也称为TSM文件。TSM文件是InfluxDB自研的一种存储引擎,它将时序数据和索引数据一起存储在一个文件中,通过这
- 2024-11-29[TSDB] OpenGemini wal文件与tssp文件的用途与关系
前言openGemini是一款面向物联网、车联网、工业互联网、运维监控等领域的开源分布式时序数据库。在openGemini中,WAL(Write-AheadLogging)文件和TSSP(TimeSeriesStorageProtocol)文件扮演着重要的角色,以下是关于它们的用途及关系的详细解释:WAL文件用途WAL文件主要用于记录数
- 2024-11-23pg_settings参数详解
引言在管理和配置PostgreSQL数据库时,了解参数的分类和了解如何查看和更改这些参数是至关重要的。参数的分类涉及到不同的生效方式,如内部参数、需要重启生效的参数、不需要重启而可以重新加载配置文件生效的参数等。本文将介绍各类参数的分类及其在PostgreSQL中的作用。一、参数的
- 2024-12-08你能看懂时序图吗?有画过时序图吗?
我能看懂时序图,也能根据描述生成时序图的文本表示。虽然我不能直接“画”图(我没有连接到图形输出设备),但我可以生成Mermaid代码,你可以用Mermaid渲染器将其转换成图片。我理解时序图中常见的元素,例如:参与者(Actors/Objects):表示交互的对象或系统。生命线(Lifelines):表
- 2024-09-29PostgreSQL同步流复制与synchronous_standby_names设置
PostgreSQL的流复制,从整体上看,可以粗分为同步与异步两种模式,其中涉及的主要参数包括synchronous_commit和synchronous_standby_names主节点synchronous_commit参数设置synchronous_commit事务提交模式,类似于MySQL的innodb_flush_log_at_trx_commit参数,对应着事务提交后返回给客
- 2024-09-16PostgreSQL的walsender和walreceiver进程介绍
PostgreSQL的walsender和walreceiver进程介绍在PostgreSQL中,WAL(Write-AheadLogging)是一种用于确保数据库事务日志安全可靠的机制。WAL是PostgreSQL进行数据库恢复、复制等操作的基础。walsender和walreceiver是PostgreSQL内部两个非常重要的进程,它们负责主
- 2024-09-15深入理解 Write-Ahead Logging (WAL) 及其应用
在讨论数据库原理的时候,我们经常会听到一种技术-Write-AheadLogging(WAL),它保证了数据的持久性和一致性。WAL的基本思想非常简单,但它的应用范围非常广泛,从数据库到分布式系统,再到各种现代应用的开发中,都能看到它的影子。本文将深入剖析WAL的基本机制,并探讨其在不同应用场
- 2024-09-08postgres 文件结构和记忆(更新中)
[postgres@pg1data]$lltotal8256drwx------.8postgrespostgres84Jan22024base-rw-------.1postgrespostgres33Sep808:51current_logfilesdrwx------.2postgrespostgres4096Sep808:52global-rw-------.1postgrespostgres
- 2024-09-03goleveldb的原理简述(基于golang的goleveldb库)
简介goleveldb是基于LSM-Tree实现的针对处理写多读少场景的解决方案,通常用于构建写多读少的存储引擎整体架构图如下基于用户接口层简述原理吧Get,按key查询数据,首先区内存中的数据,如果内存中没有则依次从硬盘中的ldb文件中取得数据。Put,按key更新数据,首先写内存数据,如
- 2024-08-29MySQL WAL机制详解
目录:是什么undologRedoLog 与BinlogRedolog三种状态redolog 的持久化Binlog三种格式三种状态binlog 的持久化两者的联系状态Crash-Safe 能力三步提交的参数配置组提交优化" 三步提交"三步提交过程总结三个日志的比较(undo、redo、bin)
- 2024-08-11PostgreSQL的WAL日志详解
PostgreSQL的WAL日志详解1.WAL日志介绍1.1WAL介绍wal日志即writeaheadlog预写式日志,简称wal日志。wal日志可以说是PostgreSQL中十分重要的部分,相当于oracle中的redo日志。当数据库中数据发生变更时:change发生时:先要将变更后内容计入walbuffer中,再将变更后的数据写入data
- 2024-08-11PostgreSQL-连续归档和时间点恢复
PostgreSQL-连续归档和时间点恢复(PITR)PostgreSQL始终在群集数据目录的pg_wal/子目录中维护一个预写日志(WAL)。该日志记录对数据库数据文件所做的每一项更改。此日志主要用于崩溃安全性:如果系统崩溃,可以通过“重放”自上次检查点以来所做的日志条目来将数据库恢复到一致性
- 2024-08-11PostgreSQL的一主一从集群搭建部署
1.PostgreSQL的一主一从集群搭建部署1.目标 掌握Postgresql数据库主从部署搭建配置2.脉络部署规划PostgreSQL单节点安装PostgreSQL主从部署配置主从同步验证3.部署搭建3.1基础准备1.1创建两台虚拟机虚拟机名IPhostname主从划分test11192.168.198
- 2024-07-26KingbaseES 数据库WAL日志暴增问题处理
故障现象:kingbase数据库容量不足100G,业务繁忙程度小,但是每天产生112283个WAL日志,每个日志16M,生成约1.7T的归档日志分析过程:思路一:从数据库日志入手,分析过程如下:sys_log日志:2024-06-0223:54:05.497CST3130361b580b0.7a47182242021-12-1212
- 2024-07-26KingbaseES 更改 WAL 日志文件大小
一、引言WAL日志的目的:WAL(Write-AheadLogging)是KingbaseES数据库中的一个关键特性,用于确保在数据库崩溃或故障后能够恢复数据。WAL日志记录了数据库的所有更改,这样即使数据库突然宕机,也可以从WAL文件中恢复数据到一致性状态。命令的功能:sys_resetwal命令用于重置WAL日志,它可以
- 2024-07-10PostgreSQL逻辑复制搭建
复制作为一种高可用/数据同步方案,在每一种数据库中都有实现,可以借助复制功能实现数据库的高可用或者数据同步/备份方案。复制的分类整体上看,复制可以分为物理复制和逻辑复制,对于物理复制或者逻辑复制,没有所谓的优劣,只有各自的适应场景。所谓的物理复制,也即复制数据库的redo物理
- 2024-07-07基于 LSN 的 PostgreSQL 数据管理与恢复
在数据管理和恢复中,LSN(LogSequenceNumber)起着至关重要的作用。本文将深入探讨LSN在PITR(时间点恢复)、流复制、日志记录以及数据一致性中的具体应用,并详细介绍如何基于LSN进行时间点恢复。1.基本概念1.1LSNLSN(LogSequenceNumber,日志序列号)是PostgreSQL中用于