MySQL—redo log、undo log以及MVCC

MySQL—redo log、undo log以及MVCC

  首先回忆一下MySQL事务的四大特性:ACID,即原子性、一致性、隔离性和持久性。其中原子性、一致性、持久性实际上是由InnoDB中的两份日志保证的,一份是redo log日志,一份是undo log日志;而隔离性则依赖于锁和MVCC。

一、redo log

  重做日志,记录的是事务提交时数据页的物理修改,是用来实现事务的持久性。
  该日志文件由两部分组成:重做日志缓冲( redo log buffer )以及重做日志文件( redo log file ),前者在内存中,后者在磁盘中。

1. 应用场景

  我们知道,在InnoDB引擎中的内存结构中,主要的内存区域就是缓冲池,在缓冲池中缓存了很多的数据页。 当我们在事务中执行多个增删改的操作时,InnoDB引擎会先操作缓冲池中的数据,如果缓冲池没有对应的数据,则会通过后台线程将磁盘中的数据加载出来,存放在缓冲池中,然后将缓冲池中的数据修改,修改后的数据页我们称为脏页。 而脏页则会在一定的时机,通过后台线程刷新到磁盘中,从而保证缓冲池与磁盘数据的一致性。 然而缓冲池的脏页数据并不是实时刷新的,而是一段时间之后才将缓冲池的数据刷新到磁盘中,假如刷新到磁盘的过程出错了,而提示给用户事务提交成功,这样数据没有持久化下来,违背了事务的持久性。redo log的作用就是,当事务提交之后会把所有修改信息都存到该日志文件中,用于在刷新脏页到磁盘发生错误时, 进行数据恢复使用。

2. 工作流程

在这里插入图片描述
  当对缓冲池的数据进行增删改之后,会首先将数据页变化记录在redo log buffer中。在事务提交时,会将redo log buffer中的数据刷新到redo log磁盘文件中。之后,如果刷新缓冲池的脏页到磁盘时,发生错误,此时就可以借助于redo log进行数据恢复,这样就保证了事务的持久性。 而如果脏页成功刷新到磁盘,此时redo log就没有作用了,就可以删除了,所以磁盘中存在两个redo log文件并且是循环写的。

3. 优点

  可能有人会问,那为什么每一次提交事务,要刷新redo log buffer到磁盘中呢,而不是在事务提交时直接将buffer pool中的脏页刷新到磁盘呢?
  因为在业务操作中,我们操作数据一般都是随机的,如果此时刷新磁盘,是随机IO,性能比较低。而redo log在往磁盘文件中写入数据时,由于是日志文件,所以是顺序IO。顺序IO的效率要远大于随机IO。 这种先写日志的方式,称之为 WAL ( Write-Ahead Logging )。

二、undo log

  回滚日志,用于记录数据被修改前的信息 , 作用包含两个:

  • 提供回滚(保证事务的原子性和一致性)
  • MVCC(多版本并发控制)

  undo log和redo log记录物理日志不一样,它记录的是逻辑日志。可以认为当delete一条记录时,undo log中会记录一条对应的insert记录,反之亦然,当update一条记录时,它记录一条对应相反的update记录。如此一来,当执行事务回滚时,就可以从undo log中的逻辑记录读取到相应的内容并进行回滚。从而保证了事务的原子性和一致性。
  undo log采用段的方式进行管理和记录,存放在InnoDB存储引擎的rollback segment回滚段中。undo log在事务执行时产生,事务提交时,并不会立即删除undo log,因为这些日志可能还用于MVCC。

三、MVCC

  全称Multi-Version Concurrency Control,即多版本并发控制。指维护一个数据的多个版本,使得读写操作没有冲突。MVCC的具体实现,依赖于数据库记录中的隐式字段、undo log日志、readView。

1. 隐式字段

  在一张表中,每行数据除了我们设置的字段以外,InnoDB还会自动地添加三个隐藏字段:

隐藏字段 含义
DB_TRX_ID 最近修改事务ID,记录插入这条记录或最后一次修改该记录的事务ID(从1开始自增)
DB_ROLL_PTR 回滚指针,指向这条记录的上一个版本,用于配合undo log,指向上一个版本
DB_ROW_ID 隐藏主键,如果表结构没有指定主键,将会生成该隐藏字段

  上述的前两个字段是肯定会添加的,是否添加最后一个字段取决于当前表有没有主键,如果有主键,则不会添加该隐藏字段。

2. undo log

  当执行insert的时候,产生的undo log日志只在回滚时需要,在事务提交后,可被立即删除。而执行update、delete的时候,产生的undo log日志不仅在回滚时需要,在快照读时也需要,不会立即被删除。
  下面我们介绍一下undo log版本链的生成。假设有一张表的原始数据为
在这里插入图片描述
然后,有四个并发事务同时在操作这张表。

A. 第一步
在这里插入图片描述

  当事务2执行第一条修改语句时,会记录undo log日志,记录数据变更之前的样子(左图);然后更新记录,并且记录本次操作的事务ID,回滚指针,回滚指针用来指定如果发生回滚,回滚到哪一个版本(右图)。

在这里插入图片描述

B. 第二步

在这里插入图片描述

  当事务3执行第一条修改语句时,也会记录undo log日志,记录数据变更之前的样子(左图);然后更新记录,并且记录本次操作的事务ID,回滚指针,回滚指针用来指定如果发生回滚,回滚到哪一个版本(右图)。

在这里插入图片描述

C. 第三步

在这里插入图片描述

  当事务4执行第一条修改语句时,也会记录undo log日志,记录数据变更之前的样子(左图);然后更新记录,并且记录本次操作的事务ID,回滚指针,回滚指针用来指定如果发生回滚,回滚到哪一个版本(右图)。

在这里插入图片描述

  最终我们发现,不同事务或相同事务对同一条记录进行修改,会导致该记录的undolog生成一条记录版本链表,链表的头部是最新的旧记录,链表尾部是最早的旧记录。

3. readView

  首先我们先介绍两个概念,当前读和快照读。

  • 当前读
      读取的是记录的最新版本,读取时还要保证其他并发事务不能修改当前记录,会对读取的记录进行加锁。对于我们日常的操作,如:select … lock in share mode(共享锁),select …for update、update、insert、delete(排他锁)都是一种当前读。
  • 快照读
      简单的select(不加锁)就是快照读,快照读,读取的是记录数据的可见版本,有可能是历史数据,不加锁,是非阻塞读。在不同的事务隔离级别下,生成快照读的时机不同。
    • Read Committed:每次select,都生成一个快照读。
    • Repeatable Read:开启事务后仅在第一个select语句快照读。
    • Serializable:快照读会退化为当前读。

  ReadView(读视图)是快照读SQL执行时MVCC提取数据的依据,记录并维护系统当前活跃的事务(未提交的)id。ReadView中包含了四个核心字段:

字段 含义
m_ids 当前活跃的事务ID集合
min_trx_id 最小活跃事务ID
max_trx_id 预分配事务ID,当前最大事务ID+1(因为事务ID是自增的)
creator_trx_id ReadView创建者的事务ID

而在readView中也规定了版本链数据的访问规则(trx_id代表undolog版本链中记录的事务ID):

条件 是否可以访问 说明
trx_id ==creator_trx_id 可以访问该版本 成立,说明数据是当前这个事务更改的
trx_id < min_trx_id 可以访问该版本 成立,说明数据已经提交
trx_id > max_trx_id 不可以访问该版本 成立,说明该事务是在readView生成后才开启
min_trx_id <= trx_id<= max_trx_id 如果trx_id不在m_ids中,是可以访问该版本的 成立,说明数据已经提交

4. 实现原理

  前面我们说过,在不同隔离级别下生成readView的时机不同。

4.1 RC隔离级别

  RC隔离级别下,在事务中每一次执行快照读时生成ReadView。
在事务5中执行了两次select操作,每一次都会生成一个readView,第一条select语句执行时,事务3、4、5都未提交,第二条select语句执行时,事务4、5未提交。

在这里插入图片描述

两个readView我们到底会获得什么样的数据呢?先来看第一次快照读具体的读取过程:

在这里插入图片描述

代入trx_id=4,发现右图中四条均不满足;代入trx_id=3,发现同样不满足;代入trx_id=2,在②处满足,因此这条查询语句拿到的结果就是

在这里插入图片描述

再来看第二次快照读具体的读取过程:

在这里插入图片描述

代入trx_id=4,发现右图中四条均不满足;代入trx_id=3,在②处满足,因此这条查询语句拿到的结果就是

在这里插入图片描述

4.2 RR隔离级别

  RR隔离级别下,仅在事务中第一次执行快照读时生成readView,后续复用该readView。 这也印证了RR是可重复读,在一个事务中,执行两次相同的select语句,查询到的结果应是一样的。

在这里插入图片描述
同样的分析方式,可以看出两次select语句拿到的都是

在这里插入图片描述

  综上所述,MVCC的实现原理就是通过InnoDB表的隐藏字段、undo log版本链、readView来实现的。而MVCC+锁,则实现了事务的隔离性。

关于MVCC还想了解更多的朋友们可以参考 MVCC详解

相关推荐

  1. MVCC-

    2024-03-20 01:20:04       49 阅读
  2. spring mvc的HandlerInterceptor的原理以及使用场景

    2024-03-20 01:20:04       54 阅读
  3. spring mvc和 spring boot 以及 spring cloud的区别

    2024-03-20 01:20:04       50 阅读
  4. MVVM和MVC的原理以及它们的区别

    2024-03-20 01:20:04       30 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-20 01:20:04       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-20 01:20:04       100 阅读
  3. 在Django里面运行非项目文件

    2024-03-20 01:20:04       82 阅读
  4. Python语言-面向对象

    2024-03-20 01:20:04       91 阅读

热门阅读

  1. Streampark 入门到生产实践

    2024-03-20 01:20:04       35 阅读
  2. OpenJudge - 13:大整数的因子

    2024-03-20 01:20:04       46 阅读
  3. Chapter 1 - 3. Introduction to Congestion in Storage Networks

    2024-03-20 01:20:04       40 阅读
  4. 面试算法-45-分发糖果

    2024-03-20 01:20:04       47 阅读
  5. leetcode 139. 单词拆分

    2024-03-20 01:20:04       38 阅读
  6. 【Numpy】(2)numpy对象和random模块

    2024-03-20 01:20:04       43 阅读
  7. 如何在海外服务器上配置静态路由?

    2024-03-20 01:20:04       42 阅读
  8. YS/T 429.2-2012 有机聚合物喷涂幕墙铝单板检测

    2024-03-20 01:20:04       40 阅读
  9. CSS3DObject 分子公式demo 实现

    2024-03-20 01:20:04       38 阅读