DBA面试题:MySQL缓存池LRU算法做了哪些改进?

下图是MySQL(MySQL5.7版本)体系架构图

9531b162c65c4171a69fdcd3981b5272.png

MySQL的InnoDb Buffer Pool 缓冲池是主内存中的一个区域,用来缓存InnoDB在访问表和索引时的数据。对于频繁使用的数据可以直接从内存中访问,从而加快处理速度。如果一台服务器专用作MySQL数据库使用时,通常将70%~80%(具体看总内存大小而定)的物理内存空间分配给缓冲池。

缓冲池由多个缓冲池实例(innodb_buffer_pool_instances)组成,每个实例都有自己的锁和数据结构,这样可以在多线程环境中提高并发性能。缓冲池中的页可以分为干净页和脏页,干净页是指与磁盘上的数据一致的页,而脏页则是指已经被修改但尚未写回磁盘的页。InnoDB会定期将脏页刷新回磁盘,以确保数据的持久性

1.  LRU算法

LRU(Least Recently Used,最近最少使用)是一种常见的缓存替换算法,通常用于管理缓存中的数据页面。该算法基于一个简单的思想:当缓存空间不足时,将最近最少被访问的数据页替换出去,以便为新的数据页腾出空间。

LRU算法维护一个数据结构,通常是一个链表或者是一个数组,用于记录数据页面的访问顺序。每当一个数据页面被访问时,就将其移动到链表或数组的头部(或其他适当位置),表示最近被访问。当缓存空间不足时,将链表或数组尾部的数据页面替换出去,因为它们是最近最少被访问的。

LRU算法的优点是简单易实现,并且通常能够有效地利用缓存空间,保留最近被频繁访问的数据页面,从而提高缓存命中率,减少磁盘IO操作,提升系统性能。然而,LRU算法也存在一些缺点,比如需要维护一个有序的数据结构,当缓存数据量非常大时,可能会导致性能下降。

MySQL为了提高大批量数据读取操作的效率,将缓冲池划分为可以潜在地容纳多行的页面。为了提高缓存管理的效率,缓冲池被实现为页面的链接列表;最近很少被使用的数据会使用LRU算法的变体从缓存中淘汰出去。

2.  MySQL中的LRU优化

在MySQL中,针对传统的LRU算法进行了优化,以解决全表扫描和预读机制可能带来的性能问题。这种优化被称为“冷热分离”,它将LRU链表分为两部分:一部分用于存放冷数据(即最近加载但尚未被频繁访问的数据页),另一部分用于存放热数据(即经常被访问的数据页)。这样,即使进行全表扫描或预读操作,也不会立即影响到那些热数据页的位置,从而保持了缓冲池的高命中率和性能。

1aabf62b04e9a0242b69544e2a7187c3.png

默认情况下,优化后的LRU算法将5/8的缓冲池空间用于存放热数据,3/8的空间用于存放冷数据,冷热区域的边界叫做midpoint区。

当InnoDB将一个页面读入缓冲池时,它最初会将其插入midpoint区(即冷数据区的头部)。此后页面可能被读取,因为它是用户发起的操作(例如SQL查询或作为InnoDB自动执行的预读操作的一部分)。

而访问冷数据区中的页面时会将此页面变“热”,进而将其移到热数据区的头部。如果页面是由于用户发起的操作而被读取的,则首次访问会立即发生,并且页面会变为“热”。如果页面是由于预读操作而被读取的,则首次访问不会立即访问,并且在页面被驱逐之前可能也永远不会被访问。

随着数据库的运行,未被访问的缓冲池中的页面通过向列表的尾部移动而“老化”。随着其他页面被设置为新页面,冷数据区中的页面都会老化。随着页面被插入midpoint,冷数据区中的页面也会老化。最终,保持未使用的页面被推向冷数据区的尾部并被驱逐。

3. 小结

MySQL使用LRU(最近最少使用)算法来管理其InnoDB存储引擎的缓冲池(Buffer Pool),因为这种算法能有效地维护缓存页的使用频率和顺序。LRU算法通过淘汰长时间未被访问的数据页,确保缓冲池中存储的是最可能被再次访问的数据,从而提高数据检索的效率。

在实际应用中,MySQL对传统的LRU算法进行了优化,以解决全表扫描和预读机制可能带来的性能问题。这种优化被称为冷热分离,它将LRU链表分为两部分:一部分用于存放冷数据(即最近加载但尚未被频繁访问的数据页),另一部分用于存放热数据(即经常被访问的数据页)。这样,即使进行全表扫描或预读操作,也不会立即影响到那些热数据页的位置,从而保持了缓冲池的高命中率和性能

9b4340f1c380a50639270a0d4b4fb95f.png

往期精彩回顾

1.  MySQL高可用之MHA集群部署

2.  mysql8.0新增用户及加密规则修改的那些事

3.  比hive快10倍的大数据查询利器-- presto

4.  监控利器出鞘:Prometheus+Grafana监控MySQL、Redis数据库

5.  PostgreSQL主从复制--物理复制

6.  MySQL传统点位复制在线转为GTID模式复制

7.  MySQL敏感数据加密及解密

8.  MySQL数据备份及还原(一)

9.  MySQL数据备份及还原(二)

a345eba78a7b693b522423260f6a4bc8.png

扫码关注     

4b25c601044bd28052789a7d432b8975.jpeg

bd879ce7ef5cb6d4ef93b30ab53a7662.png

545d838b331f952e8a7579e1e426c159.png

相关推荐

  1. 面试算法-102-LRU 缓存

    2024-03-16 06:06:04       39 阅读
  2. 面试算法-168-LRU 缓存

    2024-03-16 06:06:04       31 阅读
  3. 面试】手撕缓存LRU

    2024-03-16 06:06:04       33 阅读
  4. 缓存淘汰(LRU算法

    2024-03-16 06:06:04       35 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-16 06:06:04       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-16 06:06:04       101 阅读
  3. 在Django里面运行非项目文件

    2024-03-16 06:06:04       82 阅读
  4. Python语言-面向对象

    2024-03-16 06:06:04       91 阅读

热门阅读

  1. Lua 学习

    2024-03-16 06:06:04       43 阅读
  2. SpringBoot打造企业级进销存储系统 第四讲

    2024-03-16 06:06:04       41 阅读
  3. 关于I2C(Inter-Integrated Circuit)死锁及解决措施

    2024-03-16 06:06:04       37 阅读
  4. 金钱感知-

    2024-03-16 06:06:04       38 阅读
  5. 在Flutter中创建自定义的左对齐TabBar组件

    2024-03-16 06:06:04       44 阅读
  6. 【C#动态加载数据】“防界面卡死”

    2024-03-16 06:06:04       46 阅读
  7. 突破编程_C++_设计模式(中介者模式)

    2024-03-16 06:06:04       33 阅读
  8. 【vim 学习系列文章 14 -- 快速选中多行】

    2024-03-16 06:06:04       47 阅读
  9. Python的tkinter之说

    2024-03-16 06:06:04       42 阅读
  10. 基于51单片机的温湿度检测及调节系统

    2024-03-16 06:06:04       32 阅读
  11. 机器学习常用框架

    2024-03-16 06:06:04       41 阅读