首页 > 其他分享 >MVCC多版本并发控制

MVCC多版本并发控制

时间:2023-09-01 16:33:26浏览次数:31  
标签:事务 快照 记录 Read DB 并发 版本 MVCC View

MVCC定义

1、MVCC简介

MVCC,全称Multi-Version Concurrency Control,即多版本井发控制,MVCC是一种并发控制的方法,一般在数据库管理系统中,实现对数据库的并发访问,在编程语言中实现事务内存。 MVCC在MysQL InnoDB中的实现主要是为了提高数据库并发性能,用更好的方式去处理读写冲突。做到即使有读写冲突时,也能做到不加锁,非阻塞并发读。

2、当前读

像select lock in share mode(共享锁),select forupdate;update,insert,delete(排他锁)这些操作都是一种当前读,为什么叫当前读?就是它读取的是记录的最新版本,读取时还要保证其他并发事务不能修改当前记录,会对读取的记录进行加锁。

3、快照读

不加锁的select操作就是快照读,即不加锁的非阻塞读;快照读的前提是隔离级别不是串行圾别,串行圾别下的快照读会退化成当前读;之所以出现快照读的情况,是基于提高并发性能的考虑,快照读的实现是基于多版本并发控制,即MVCC,可以认为MVCC是行锁的一个变种,但它在很多情况下,避免了加锁操作,降低了开销;既然是基于多版本,即快照读可能读到的并不一定是数据的最新版本,而有可能是之前的历史版本。

4、当前读、快照读、MVCC关系

MVCC多版本并发控制指的是维持一个数据的多个版本,使得读写操作没有冲突,快照读是MySQL为实现MVCC的一个非阻塞读功能。 MVCC模块在MySQL中的具体实现是由 三个隐式字段、undo日志、read view三个组件来实现的。

5、MVCC解决的问题

前提数据库并发场景有三种,分别为∶ 1)、读读∶ 不存在任何问题,也不需要并发控制 2)、读写∶有线程安全问题,可能会造成事务隔离性问题,可能遇到脏读、幻读、不可重复读 3)、写写∶ 有线程安全问题,可能存在更新丢失问题 MVCC是一种用来解决读写冲突的无锁并发控制,也就是为事务分配单项增长的时间戳,为每个修改保存一个版本,版本与事务时间戳关联,读操作只读该事务开始前的数据库的快照。 因此,MVCC可以为数据库解决以下问题∶ 1)、在并发读写数据库时,可以做到在读操作时不用阻塞写操作,写操作也不用阻塞读操作,提高了数据库并发读写的性能。 2)、解决脏读、幻读、不可重复读等事务隔离问题,但是不能解决更新丢失问题。

MVCC实现原理

mvcc的实现原理主要依赖于记录中的三个隐藏字段,undo log,read view来实现的。

1、隐藏字段:每行记录除了我们自定义的字段外,还有数据库隐式定义的DB_TRX_ID,DB_ROLL_PTR,DB_ROW_ID等字段

1),DB_TRX_ID:6字节,最近修改事务id,记录创建这条记录或者最后一次修改该记录的事务id。

2),DB_ROLl_PTR:7字节,回滚指针,指向这条记录的上一个版本,用于配合undolog,指向上一个旧版本 。

3),DB_ROWjD:6字节,隐藏的主键,如果数据表没有主键,那么innodb会自动生成一个6字节的row_id。

隐藏字段的记录如同所示: image.png

在上图中,DB_ROW_ID是数据库默认为该行记录生成的唯一隐式主键,DB_TRX_ID是当前操作该记录的事务ID,DB_ROLL_PTR是一个回滚指针,用于配合undo日志,指向上一个旧版本。 2、undolog:undolog被称之为回滚日志,表示在进行insert,delete,update操作的时候产生的,方便回滚的日志。

当进行insert操作的时候,产生的undolog只在事务回滚的时候需要,并且在事务提交之后可以被立刻丢弃; 当进行update和delete操作的时候,产生的undolog不仅仅在事务回滚的时候需要,在快照读的时候也需要,所以不能随便删除,只有在快照读或事务回滚不涉及该日志时,对应的日志才会被purge线程统一清除(当数据发生更新和删除操作的时候都只是设置一下老记录的deleted bit,并不是真正的将过时的记录删除,因为为了节省磁盘空间,innodb有专门的purge线程来清除deleted_bit为true的记录,如果某个记录的deletedid为true,并且DB_TRXID相对于purge线程的read view可见,那么这条记录一定时可以被清除的)。

下面我们来看-下undolog生成的记录链: 1)、假设有一个事务编号为1的事务向表中插入一条记录,那么此时行数据的状态为; image.png

2)、假设有第二个事务编号为2,对该记录的name做出修改,改为masi在事务2修改该行记录数据时,数据库会对该行加排他锁。 然后把该行数据拷贝到undolog中,作为 旧记录,即在undolog中有当前行的拷贝副本。 拷贝完毕后,修改该行name为masi,并且修改隐藏字段的事务id为当前事务2的d,回滚指针指向拷贝到undolog的副本记录地址,事务提交后,释放锁。 image.png

3)、假设有第三个事务编号为3对该记录的age做了修改,改为32在事务3修改该行数据的时,数据库会对该行加排他锁。 然后把该行数据拷贝到undolog中,作为旧纪录,发现该行记录已经有undolog了,那么最新的旧数据作为链表的表头,插在该行记录的undolog最前面。 修改该行age为32岁,并且修改隐藏字段的事务id为3,回滚指针指向刚刚拷贝的undolog的副本记录地址,事务提交,释放锁。

img

从上述的一系列图中,大家可以发现,不同事务或者相同事务的对同一记录的修改,会导致该记录的undolog生成一条记录版本线性表, 即链表,undolog的链首就是最新的旧记录,链尾就是最早的旧记录。

3、Read View 上面的流程如果看明白了,那么大家需要再深入理解下read view的概念了: Read View是事务进行快照读操作的时候生产的读视图,在该事务执行快照读的那一刻,会生成一个数据系统当前的快照,记录并维护系统当前活跃事务的id,事务的id值是递增的。 其实Read View的最大作用是用来做可见性判断的,也就是说当某个事务在执行快照读的时候,对该记录创建一个Read View的视图,把它当作条件去判断当前事务能够看到哪个版本的数据,有可能读取到的是最新的数据,也有可能读取的是当前行记录的undolog中某个版本的数据。 Read View遵循的可见性算法主要是将要被修改的数据的最新记录中的DB_TRX_ID(当前事务id)取出来,与系统当前其他活跃事务的id去对比,如果DB_TRX_ID跟Read Vew的属性做了比较,不符合可见性。那么就通过DB_ROLL_PTR回滚指针去取出undolog中的 DB_TRX_ID做比较,即遍历链表中的DB_TRX_ID, 直到找到满足条件的DB_TRX_ID。这个DB_TR_ID所在的旧记录就是当前事务能看到的新老版本数据

Read View的可见性规则如下所示。首先要知道Read View中的三个全局属性∶

  • trx_list∶ 一个数值列表,用来维护Read View生成时刻系统正活跃的事务ID
  • up_limt_id∶ 记录trx_list列表中事务ID最小的ID
  • low_limit_id∶ Read View生成时刻系统尚未分配的下一个事务ID。

具体的比较规则如下∶

1)、首先比较DB_TRX_ID<up_limit_id,如果小于,则当前事务能看到DB_TRX_ID所在的记录,如果大于等于进入下一个判断。

2)、接下来判断DB_TRX_ID>= low_limit_id,如果大于等于 则代表DB_TRX_ID所在的记录在Read View生成后才出现的,那么对于当前事务肯定不可见,如果小于,则进入下一步判断。

3)、判断DB_TRX_ID是否在活跃事务中,如果在,则代表在Read View生成时刻,这个事务还是活跃状态,还没有commit,修改的数据,当前事务也是看不到,如果不在,则说明这个事务在Read View生成之前就已经开始commit,那么修改的结果是能够看见的。

MVCC的整体处理流程

1、假设有四个事务同时在执行,如下图所示∶ image.png

从上述表格中,我们可以看到,当事务2对某行数据执行了快照读,数据库为该行数据生成一个Read View视图,可以看到事务1和事务3还在活跃状态,事务4在事务2快照读的前一刻提交了更新,所以,在Read Vew中记录了系统当前活跃事务1,2,3,维护在一个列表中;同时可以看到up_limit_id的值1,而low _limit_id为5。如下图所示: image.png

在上述的例子中,只有事务4修改过该行记录,并在事务2进行快照读前,就提交了事务,所以该行当前数据的undolog如下所示∶ image.png

当事务2在快照读该行记录的是,会拿着该行记录的DB_TRXID去跟up_limit_d,lower_llimit_id和活跃事务列表进行比较,判读事务2能看到该行记录的版本是哪个。

2、具体流程如下∶

先拿该行记录的事务ID(4)去跟Read Vew中的up_limt_id相比较,判断是否小于,通过对比发现不小于,所以不符合条件;继续判断4是否大于等于low_Imit id,通过比较发现也不大于,所以不符合条件,判断事务4是否处理trx list列表中,发现不再次列表中,那么符合可见性条件,所以事务4修改后提交的最新结果对事务2的快照是可见的,因此,事务2读取到的最新数据记录是事务 4所提交的版本,而事务4提交的版本也是全局角度的最新版本。如下图所示∶ image.png

当上述的内容都看明白了的话,那么大家就应该能够搞清楚这几个核心概念之间的关系了,下面我们讲一个不同的隔离级别下的快照的不同。

RC、RR级别下的InnoDB快照读有什么不同?

1、首先mysql四种隔离级别:

1)未提交读(READ UNCOMMITED)脏读

2) 已提交读 (READ COMMITED)简称(RC) 不可重复读

3)可重复读(REPEATABLE READ)简称(RR )

4)可串行化(SERIALIZABLE)

2、因为Read View生成时机的不同,从而造成RC、RR级别下快照读的结果的不同:

1)、在RR级别下的某个事务的对某条记录的第一次快照读会创建一个快照即Read View将当前系统活跃的其他事务记录起来,此后调用快照读的时候,还是使用的是同一个Read View, 所以只要当前事务在其他事务提交更新之前使用过快照读,那么之后的快照读使用都是同一个Read View,所以对之后的修改不可见。 2)、在RR级别下,快照读生成ReadView时,Read View会记录此时所有其他活跃事务的快照,这些事务的修改对于当前事务都不可见的, 而早于Read View创建的事务所做的修改均是可见。 3)、在RC级别下,事务中,每次快照读都会新生成一个快照和Read View,这就是我们在RC级别下的事务中可以看到别的事务提交的更新的原因。

总结∶在RC隔离级别下,是每个快照读都会生成并获取最新的Read View,而在RR隔离级别下,则是同一个事务中的第一个快照读才会创建Read View,之后的快照读获取的都是同一个Read View。

乐观锁和MVCC区别

在数据库中,并发控制是指在多个用户/进程/线程同时对数据库进行操作时,如何保证事务的一致性和隔离性的,同时最大程度地并发。

当多个用户/进程/线程同时对数据库进行操作时,会出现3种冲突情形:

  1. 读-读,不存在任何问题
  2. 读-写,有隔离性问题,可能遇到脏读(会读到未提交的数据) ,幻影读等。
  3. 写-写,可能丢失更新

要解决冲突,一种办法是是锁,即基于锁的并发控制,比如2PL,这种方式开销比较高,而且无法避免死锁。

多版本并发控制(MVCC)是一种用来解决读-写冲突的无锁并发控制,也就是为事务分配单向增长的时间戳,为每个修改保存一个版本,版本与事务时间戳关联,读操作只读该事务开始前的数据库的快照。 这样在读操作不用阻塞写操作,写操作不用阻塞读操作的同时,避免了脏读和不可重复读

乐观并发控制(OCC)是一种用来解决写-写冲突的无锁并发控制,认为事务间争用没有那么多,所以先进行修改,在提交事务前,检查一下事务开始后,有没有新提交改变,如果没有就提交,如果有就放弃并重试。乐观并发控制类似自选锁。乐观并发控制适用于低数据争用,写冲突比较少的环境。

多版本并发控制可以结合基于锁的并发控制来解决写-写冲突,即MVCC+2PL,也可以结合乐观并发控制来解决写-写冲突。

标签:事务,快照,记录,Read,DB,并发,版本,MVCC,View
From: https://blog.51cto.com/u_12482515/7324252

相关文章

  • c++并发编程实战-第2章 线程管控-读书笔记
    线程的基本管控每个应用程序都至少拥有一个线程,即运行main函数的线程,称为主线程,它由c++运行时系统启动。我们可以在软件运行中产生其他线程,它们以指定的函数作为入口函数。当main函数返回后,程序会退出;同样,当入口函数返回后,与之对应的线程结束。发起线程线程是通过构造std::thre......
  • svnWebUI svn服务端web 开源代码版本控制系统 图形化管理系统
    svn是Subversion的简称,是一个开源的代码版本控制系统,svn就是用于多人共同开发同一个项目,达到资源共用目的工具。版本控制是什么?版本控制(Revisioncontrol)是指对软件开发过程中各种程序代码、配置文件及说明文档等文件变更的管理。可记录每个版本的信息,方便问题追踪。同时版本控制......
  • flask + gevent + multiprocess + wsgi实现高并发接口
    Flask+多进程+协程了。8核虚拟机最高QPS高达1W5。使用的时候务必注意一下“”“进程“”“安全就行了。参考代码如下,Flaskgevent多进程WSGI(非gunicorn)#coding:utf-8#codebyhttps://cpp.la,2020-04-20#flask+gevent+multiprocess+wsgifromflaskimpo......
  • Java并发编程:volatile关键字解析
    Java并发编程:volatile关键字解析volatile这个关键字可能很多朋友都听说过,或许也都用过。在Java5之前,它是一个备受争议的关键字,因为在程序中使用它往往会导致出人意料的结果。在Java5之后,volatile关键字才得以重获生机。volatile关键字虽然从字面上理解起来比较简单,但是......
  • Mysql主从复制(一主一从)+Mycat(windows-1.X版本)实现读写分离
    项目中,如果数据量大的情况下,可以使用【数据库主从复制+读写分离】的方式优化,其他方式也很多,这里只记录下这种方式一、说明1.需要的环境等:序号环境说明1mysql5.7服务器两台数据库服务器,一台作为主数据库,一台作为从数据库2jdk安装mycat的时候会用到jdk3my......
  • Learn Git in 30 days——第 09 天:比对文件与版本差异
    写的非常好的一个Git系列文章,强烈推荐原文链接:https://github.com/doggy8088/Learn-Git-in-30-days/tree/master/zh-cn使用任何版本控制软件的过程中,经常会需要查看历史记录与比对版本之间的差异。而在使用Git的时候要如何进行比对,将是本文重点。准备工作目录我们通过以下......
  • 记一次因HTTP协议版本导致后端服务响应502事故
    一、前言于今天即将下班之际,研发同时突然反馈某项目开发环境调用java后端服务出现502....据悉,就在前几天都是正常,今天发版上线之后就出现这种情况,而且故障出现之后根研发自行调用后端服务接口是没问题的....随即我这边开始展开紧急处理二、排查思路首先对于502错误通常表示服务器作......
  • 生信: 一起读官方文档 GATK2.1版本 篇
    一起读官方文档GATK2.1版本篇参考文章:GATK使用:https://www.plob.org/article/7070.htmlGATK介绍GATK做什么的?它主要用于从sequencing数据中进行variantcalling,包括SNP、INDEL。比如现在风行的exomesequencing找variant,一般通过BWA+GATK的pipeline进行数据分析。BWA......
  • 如何提高项目的并发量
    目录如何提高项目的并发量1前端2高性能web服务器部署项目:nginx3项目部署(使用性能高服务器部署项目:gevent+uwsgi)4代码层面5代码优化不了的,加机器6IO同步id,异步id,io多路复用如何提高项目的并发量1前端1用cdn(分布式的内容分发网,比如七牛云)。静态资源,放到cdn上。使用第......
  • 高并发下的重复提交问题
    用户下订单购买,因为各种原因(网络卡,快递点击等)重复提交2个或者以上一模一样的订单,由于是同时提交的,第一个订单执行扣款生成订单未完成时候,第二个已经进来了,导致付一笔钱购买了2次或多次商品。 解决方案:1、缓存lock,缓存此用户的操作行为,注意紧紧缓存操作的标志,下次进入判断此标志是......