• 2024-11-09科普文:软件架构数据库系列之【MySQL:innodb刷脏页之Checkpoint机制详解】
    概叙科普文:软件架构数据库系列之【MySQL/innodb刷脏页】-CSDN博客科普文:软件架构数据库系列之【innodb内存管理四剑客:LRU算法+Free_list、LRU_list、FlushList】-CSDN博客科普文:软件架构数据库系列之【MySQL:innodb刷脏页多线程的源码解读】-CSDN博客CheckPoint是MySQL的WA
  • 2024-11-06MySQL性能抖动
    当内存数据页跟磁盘数据页内容不一致的时,称这个内存页为“脏页”。内存数据写入磁盘后,内存和磁盘上的数据页的内容就一致了,称为“干净页”。平时执行很快的更新操作,就是在写内存和日志,而MySQL偶尔抖一下,可能是在刷脏页。刷脏页的时机redolog写满了,数据库停止所有更新操作,将
  • 2024-09-18减少脏页标记技术中处理时间的方法
    减少脏页标记技术中处理时间的方法一、引言在数据库系统中,脏页标记技术对于确保数据的一致性和持久性至关重要。然而,脏页标记过程可能会消耗一定的处理时间,影响数据库的性能。因此,寻找有效的方法来减少脏页标记技术中的处理时间具有重要意义。二、优化数据结构(一)使用高
  • 2024-09-18有哪些方法可以减少脏页标记技术中的磁盘 I/O 操作?
    减少脏页标记技术中磁盘I/O操作的方法一、引言在数据库系统中,脏页标记技术用于跟踪被修改但尚未写入磁盘的数据页。然而,频繁的磁盘I/O操作会严重影响数据库的性能。因此,寻找有效的方法来减少脏页标记技术中的磁盘I/O操作至关重要。二、优化脏页标记策略(一)延迟标记
  • 2024-09-12openGauss和PostgreSQL差异对比
    检查点在PostgreSQL中的检查点叫全量检查点,执行时会将buffer中的所有的脏页刷到磁盘,需要在一定时间内完成刷脏页的操作,导致数据库运行性能波动较大。同时全量检查点开始时需要遍寻内存中的所有脏页,内存越大,寻找脏页的时间也越长,具体过程如下:遍历所有BUFFER,将当前时刻的所有脏块状态
  • 2024-09-04第十讲:为什么我的MySQL会“抖”一下?
    目录第十讲:为什么我的MySQL会“抖”一下?图概:提出现实问题:SQL执行的时候特别快,有时变得特别慢原因:为什么有时会“flush”呢?第一种场景,粉板满了,记不下了。第二种场景,要记住的事情太多,自己快记不住了,找账本把这笔账先加进去。第三种场景是,生意不忙,打烊之后柜台没事,掌柜闲着也是闲
  • 2024-06-22Linux开发讲课9--- Linux的IPC机制-内存映射(Memory Mapping)
            Linux的IPC(Inter-ProcessCommunication,进程间通信)机制是多个进程之间相互沟通的方法,它允许不同进程之间传播或交换信息。Linux支持多种IPC方式,包括但不限于:管道(Pipe):包括无名管道和命名管道(FIFO)。无名管道是半双工的,通常用于具有亲缘关系的进程间通信,如父子
  • 2024-04-2222.Postgresql的checkpoint功能
    PostgreSQL中的checkpoint是数据库管理系统(DBMS)中的一项重要机制,用于确保数据的一致性、可恢复性和性能管理。以下是关于PostgreSQLcheckpoint的详细解释:checkpoint的定义与作用定义:Checkpoint是一个在WAL(Write-AheadLog)序列中的点,此时所有数据文件已更新,反映了到该点为止
  • 2024-03-10MySQL三种日志
    一、undolog(回滚日志)1.作用:(1)保证了事物的原子性(2)通过readview和undolog实现mvcc多版本并发控制2.在事物提交前,记录更新前的数据到undolog里,回滚的时候读取undolog来进行回滚3.undolog格式有一个rtx_id(上一次事物修改的id)和roll_ptr(指向需要回滚的版本)二、redolog1.
  • 2024-01-26openGauss学习笔记-208 openGauss 数据库运维-常见故障定位案例-TPCC高并发长稳运行因脏页刷盘效率导致性能下降
    openGauss学习笔记-208openGauss数据库运维-常见故障定位案例-TPCC高并发长稳运行因脏页刷盘效率导致性能下降208.1TPCC高并发长稳运行因脏页刷盘效率导致性能下降208.1.1问题现象TPCC高并发长稳运行因脏页刷盘效率导致性能下降,具体表现为:初始性能较高,随着运行时间增加,数据
  • 2023-07-29delete语句执行过慢
    一现象某个数据库经常在某个时间点比如凌晨2点或者白天某些时间段发出如下报警[Critical][prod][mysql]-超200killSQL/分钟[P0][PROBLEM][all(#2)db_data.Com_killdb=XXXX[m]:330610.53333>=3.3][O12019-11-0103:40:00]报警的意思是每分钟超过200个sql被ki
  • 2023-06-30MySQL 知识合集
    脏页脏页的来历一言蔽之,脏页就是插入和更新的数据锁保存的对应的内存(缓存)页脏页的刷新脏页的刷新采用定时+阈值触发+关闭前 相关参数innodb_page_cleanersinnodb_buffer_pool_instancesinnodb_lru_scan_depthinnodb_nax_dirty_pages_pct是否刷新脏页
  • 2023-06-2912 | 为什么我的MySQL会“抖”一下?
    一下内容出自《MySQL实战45讲》12|为什么我的MySQL会“抖”一下?一条SQL语句,正常执行的时候特别快,但是有时也不知道怎么回事,它就会变得特别慢,并且这样的场景很难复现,它不只随机,而且持续时间还很短。看上去,这就像是数据库“抖”了一下。这个时候,MySQL可能是在刷脏页(fl
  • 2023-04-10InnoDB引擎之flush脏页
    利用WAL技术,数据库将随机写转换成了顺序写,大大提升了数据库的性能,由此也带来了内存脏页的问题。 脏页会被后台线程自动flush,也会由于数据页淘汰而触发flush,而刷脏页的过程由于会占用资源,可能会让你的更新和查询语句的响应时间长一些。 一、flush脏页当内存数据页跟磁盘
  • 2023-04-08MySQL笔记之Checkpoint机制
    CheckPoint是MySQL的WAL和Redolog的一个优化技术。 一、Checkpoint机制CheckPoint做了什么事情?将缓存池中的脏页刷回磁盘。checkpoint定期将dbbuffer的内容刷新到datafile,当遇到内存不足、dbbuffer已满等情况时,需要将dbbuffer中的内容/部分内容(特别是脏数据)转储到datafi
  • 2022-12-20迁移速度与计算性能兼得!天翼云DirtyLimit技术大显身手
    虚拟机技术的快速发展使系统迁移变得更加灵活且多样化,其广泛应用也促使用户对虚拟机迁移速度和性能影响提出了更高要求。​​天翼云​​弹性计算虚拟化团队创新研发DirtyLim
  • 2022-10-11Innodb-缓冲池
    缓冲池缓存这个东西是在开发当中使用特别多的东西,理解他也特别重要虽然我们现在工业开发都是使用的第三方的缓存如redis,但是Mysql的缓存也是比较重要的东西。如果出现
  • 2022-09-05buffer poll 缓存页
    free链表:指向未使用的控制块与缓存页hash表:key:表空间号+页号value:缓存页脏页:修改过的缓存页flush链表:指向脏页lru:缓存不够时,先删除最近最少使用的。LRU链表:只要用到