论文解读-Contiguitas: The Pursuit of Physical Memory Contiguity in Datacenters

研究背景：

        在内存容量飞速增长的背景下，使用小页管理内存会带来巨大的内存管理开销（地址转换开销高）。近些年来不少研究尝试给应用分配大段连续区域，或者改善页表结构（如使用hash结构的页表）以降低page walk开销。后者在页表建立之初也需要大段连续内存。然而，由于内存碎片的存在，系统通常难以动态分配1GB甚至2MB的连续内存。文章的第2）部分将以实验进一步说明这个问题。此外，传统的内存去碎片化需要通过软件执行页迁移。页迁移需要阻塞进程并进行TLB shootdown操作，开销很高，对性能的影响较大。进一步限制了内存管理算法的性能。

        为此，文中进行以下实验：1）内存容量与TLB容量的变化趋势；2）连续物理内存对地址转换的性能影响；3）当前的内存碎片情况；4）不可移动页的分布与来源。

论文方案：

为了解决不可移动页带来的内存碎片问题，Contiguitas进行了三个方面的设计，如图6所示：① 让不可移动页只在不可移动区域被分配；② 动态调整不可移动分区与可移动分区的边界；③ 利用硬件迁移不可移动页。其中③也可以用于可移动页的迁移，不需要执行费时的TLB shootdown，提高页迁移操作的可扩展性。

软件设计：

Contiguitas将物理内存划分为不可移动区和可移动区，并用不同的空闲页链表管理。不可移动页只能从不可移动区的空闲页表中被分配，也只能释放到不可移动区。如果页的属性从可移动变化为不可移动，则Contiguitas将其迁移到不可移动区，避免对可移动区的污染。采用算法动态调整不可移动区和可移动区的边界，确定不可移动区的大小。

硬件设计：

        为让不可移动页在迁移时也可以被正确访问，添加硬件支持。Contiguitas-HW允许在页面仍在使用时进行透明页面迁移。这种迁移可以大大减少不可移动区域的大小，并导致更有效的碎片整理和内存管理。

        Contiguitas-HW将正在被迁移的页分为源页和目标页，并将对页的访问正确重定向到对应的页中。页面迁移是在步骤①中由操作系统向Contiguitas-HW提供源和目标物理页码(ppn)发起的。在复制缓存行之前，Contiguitas-HW会为源缓存行和目标缓存行发出BusRdX事件，如步骤②所示。此步骤保证源缓存行的最新版本位于LLC中，并且源和目标缓存行在更高级别的缓存中都无效。接下来，Contiguitas-HW将行从源复制到目标，如步骤③所示。在迁移过程中，一个请求，例如LD Ai，可能到达LLC，如④所示。操作系统执行本地TLB失效，如⑤所示。当所有TLB最终失效时，操作系统将从图8(b)中的元数据表中清除该条目。

实验结论：

        在非常高的迁移速率下，迁移开销仅占0.2%和0.3%。当开启大页后，结合Contiguitas可以实现7%的性能提升。该实验验证了最佳页面大小将随着内存容量的不断增加而不断增长。