pagedefrag,「技术干货」一文读懂Linux内核内存映射与页表

一、 内存映射与页表

1. 内存映射

我们通常所说的内存容量，指的是物理内存，只有内核才可以直接访问物理内存，进程并不可以。

嵌入式进阶教程分门别类整理好了，看的时候十分方便，由于内容较多，这里就截取一部分图吧。

需要的朋友私信【内核】即可领取。

内核学习地址：Linux内核源码/内存调优/文件系统/进程管理/设备驱动/网络协议栈-学习视频教程-腾讯课堂

Linux 内核给每个进程都提供了一个独立的虚拟地址空间，并且这个地址空间是连续的。这样，进程就可以很方便地访问内存，更确切地说是访问虚拟内存。

虚拟地址空间的内部又被分为内核空间和用户空间两部分，不同字长（单个 CPU 指令可以处理数据的最大长度）的处理器，地址空间的范围也不同。比如最常见的 32 位和64 位系统：

既然每个进程都有一个这么大的地址空间，那么所有进程的虚拟内存加起来，自然要比实际的物理内存大得多。所以，并不是所有的虚拟内存都会分配物理内存，只有那些实际使用的虚拟内存才会分配物理内存，并且分配后的物理内存，是通过内存映射来管理的。内存映射，其实就是将虚拟内存地址映射到物理内存地址。

2. 页表

为了完成内存映射，内核为每个进程都维护了一张页表，记录虚拟地址与物理地址的映射关系，如下图所示：

页的大小只有 4 KB ，导致的另一个问题就是，当物理内存很大时，页表会变得非常大，占用大量物理内存。

3. 页表的简单工作原理

下图是比较简单情况下的示意图，用于描述在32位系统下，页大小为4K时，操作系统如何为进程的虚拟地址和实际物理地址进行转换：

目录表，是用于索引页表的数据结构，其中存储着目录项（共1024个、每个4B，因此目录表共4B*1024=4K ），每个目录项指向一个页表，即可以存储1024个页表。页表，用来存放物理地址页的起始地址，即页表项（也是共1024个、每个4B，因此一个页表的大小也是4K），由于目录表最多可存1024个页表，因此页表的最大大小是1024*4K=4M。页表项，每个页表项指向4K的物理内存页，因此页表一共可以指向的物理内存大小为：1024（页表数）*1024（每个页表的页表项数）*4K（一个页表项指向的物理内存大小）=4G

假如一个进程，访问的物理内存有1GB，即262144个内存页，在32位系统中，页表需要262144*4/1024/1024=1MB，而在64位系统下，页表占用的空间增加1倍，即2MB。

对于Linux系统中运行的oracle数据库，假如数据库的SGA大小12GB，如果一个Oracle Process访问到了所有的SGA内存，其页表大小会是24MB，如果有300个左右的会话，那么这300个连接的页表会达到7200MB，只不过并不是每个进程都会访问到SGA中所有的内存。

页表大小可以通过 /proc/meminfo 的 PageTables部分查看。

为了解决页表项过多的问题，Linux 提供了两种机制，也就是多级页表和大页（HugePage），后面我们以大页为重点。

二、 大页

大页顾名思义，就是比较大的页，通常是2MB。由于页变大了，需要的页表项也就小了，占用物理内存也减少了。

1. 大页的优点

减少页表大小：默认页面大小为 4K，而大页为 2048K，意味着系统需要处理的页面减少了 512 倍。大页的页表在各进程之间可以共享，也降低了页表的大小。减少页表遍历：大页覆盖更大的连续虚拟地址范围，使得CPU中的TLB（可理解为CPU对页表的CACHE）命中率大大提高，减少了遍历页表以从虚拟地址获取物理地址的次数。减少页表查找开销：避免swap：大页内存只能锁定在物理内存中，不可swap，因此没有page-in/page-out机制开销，避免了swap引起的性能影响。减少了内存开销：由于要处理的页面数量较少，明显减少了页表访问可能出现的瓶颈。

2. 大页的缺点

要预先分配需要重启主机生效当服务器内存或SGA调整时，需要对应调整大页设置如果分配不当（过多、过少、os参数配置错误），反而可能引起严重问题

严重问题可能包括：

（绝）大部分大页内存未能使用，严重浪费内存数据库性能差系统内存不足或交换过多数据库实例无法启动关键系统服务失败极高的sys cpu使用率

3. 大页的分配方法

检查/proc/meminfo，确认系统支持HugePageHugePages Total：系统中配置的大页数。HugePages Free：没有访问过的大页数。HugePages Rsvd：已经分配但是还未使用的页面数。Hugepagesize：大页size，这里为2MB，有的内核配置中可能为4MB。

设置memlock

设定oracle用户可以锁定内存的大小。这个参数在/etc/security/limits.conf文件，单位是KB。开启大页时，这个参数很重要，如果设置过小，可能导致大页无法被用到，白白浪费内存。

根据 What is Memlock and How to Calculate the Values for Memlock? (Doc ID 2511230.1) 文档建议：

未启用大页：至少为3G启用为大页：至少设置为服务器内存的90%建议大小：内存大小 > memlock大小 >= 大页总内存 > SGA

例如：

oracle soft memlock 18878464Oracle hard memlock 18878464

重新以oracle用户连接到数据库服务器，使用ulimit -a命令便可看到对应设置

改为AUTO方式管理SGA

对于11g，由于HugePage只能用于共享内存，不能用于PGA，所以不能使用AMM，只能分别设置SGA和PGA。SGA同样只能是AUTO方式管理，需要将SGA_TARGET_SIZE设为大于0的合适值。

查看建议的大页数量

到目前为止，大页只能用于共享内存段等少量类型的内存。一旦将物理内存用作大页，那么这些物理内存就不能作其他用途，比如作为进程的私有内存。因此不能将过多的内存设置为大页，通常将大页用作Oracle数据库的SGA。

Oracle Linux: Shell Script to Calculate Values Recommended Linux HugePages / HugeTLB Configuration (Doc ID 401749.1) 提供了计算建议值的脚本。需要先设置好SGA等参数、启动Oracle、并以Oracle用户执行该脚本

修改/etc/sysctl.conf文件，设置vm.nr_hugepages=建议值，执行sysctl –p命令

vm.nr_hugepages这个参数值为上步计算出的建议值。然后检查/proc/meminfo，如果HugePages_Total小于设置的数量，表明没有足够的连续物理内存用于这些大内存页，需要重启服务器。

重启服务器和数据库，检查大页使用情况

大页是惰性分配的，用到才会分配。随着数据库的使用，可以在/proc/meminfo中查看HugePages_Free是否已经减少。如果已经减少，表明已经使用到HugePage Memory。

三、 透明大页

在一些Linux系统中，transparent hugepage被默认开启，它允许大页做动态的分配，而不是系统启动后就分配好，根据Oracle MOS DOC：1557478.1，transparent hugepage导致了很多的问题，建议将其关闭。

1. 查看是否启用

#未启用应该看到[never]cat /sys/kernel/mm/transparent_hugepage/enabled

如果这个文件不存在，则检查

#未启用应该看到[never]cat /sys/kernel/mm/redhat_transparent_hugepage/enabled

2. 关闭透明大页

Redhat & Centos

# 重启后失效echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag # 开机时设置never到以上文件中echo ‘echo never > /sys/kernel/mm/transparent_hugepage/defrag’ >> /etc/rc.d/rc.localecho ‘echo never > /sys/kernel/mm/transparent_hugepage/enabled’ >> /etc/rc.d/rc.local chmod x /etc/rc.d/rc.local

SUSE Linux（区别在于开机设置never需要配置到的文件不同）

# 重启后失效echo never > /sys/kernel/mm/transparent_hugepage/enabled echo never > /sys/kernel/mm/transparent_hugepage/defrag# 开机时设置never到以上文件中echo ‘echo never > /sys/kernel/mm/transparent_hugepage/defrag’ >> /etc/init.d/boot.localecho ‘echo never > /sys/kernel/mm/transparent_hugepage/enabled’ >> /etc/init.d/boot.localchmod x /etc/init.d/boot.local