SWAP的罪与罚
发表于2012-11-08
说个案例：一台Apache服务器，由于其MaxClients参数设置过大，并且恰好又碰到访问量激增，结果内存被耗光，从而引发SWAP，进而负载攀升，最终导致宕机。
正所谓：SWAP，性能之大事，死生之地，存亡之道，不可不察也。
哪些工具可以监测SWAP
最容易想到的就是free命令了，它指明了当前SWAP的使用情况：
shell> free -m total used free Swap: 34175 11374 22801
另一个常用的是sar命令，它能列出系统在各个时间的SWAP使用情况：
shell> sar -r kbswpfree kbswpused %swpused kbswpcad 23345644 11650572 33.29 4656908 23346452 11649764 33.29 4656216 23346556 11649660 33.29 4650308 23346932 11649284 33.29 4649888 23346992 11649224 33.29 4648848
不过free命令和sar命令显示的都不是实时数据，如果需要，可以使用vmstat命令：
shell> vmstat 1 -----------memory------------- ---swap-- swpd free buff cache si so 11647532 123664 305064 7193168 0 0 11647532 123672 305064 7193172 0 0 11647532 125728 305064 7193468 0 0 11647532 125376 305064 7193476 0 0 11647532 124508 305068 7193624 0 0
每秒刷新一次结果，在SWAP一栏里列出了相关数据，至于si和so的解释，大致如下：
- si: Amount of memory swapped in from disk (/s).
- so: Amount of memory swapped to disk (/s).
如果它们一直是零当然最好不过了，偶尔不为零也没啥，糟糕的是一直不为零。
前面介绍的方法，看到的都是SWAP的整体情况，可是如果我想查看到底是哪些进程使用了SWAP，应该如何操作呢？这个问题有点棘手，我们来研究一下：
好消息是top命令能提供这个信息，不过缺省并没有显示，我们需要激活一下：
- 打开top；
- 按「f」进入选择字段的界面；
- 按「p」选择「SWAP」字段；
- 按回车确认。
坏消息是top命令提供的SWAP信息只是一个理论值，或者更直白一点儿来说它根本就是不可信的（在top里SWAP的计算公式是：SWAP=VIRT-RES）。
BTW：相比之下，top里的「nFLT」字段更有价值，它表示PageFault的次数。
那到底我们能不能获取到进程的SWAP情况呢？别着急，看代码：
#!/bin/bash
cd /proc
for pid in [0-9]*; do command=$(cat /proc/$pid/cmdline)
swap=$(
awk '
BEGIN { total = 0 }
/Swap/ { total += $2 }
END { print total }
' /proc/$pid/smaps
)
if (( $swap > 0 )); then
if \[\[ "${head}" != "yes" \]\]; then
echo -e "PID\\tSWAP\\tCOMMAND"
head="yes"
fi
echo -e "${pid}\\t${swap}\\t${command}"
fi
done
说明：请使用root权限来运行此脚本。
哪些因素可能影响SWAP
内存不足无疑会SWAP，但有些时候，即便看上去内存很充裕，还可能会SWAP，这种现象被称为SWAP Insanity，罪魁祸首主要有以下几点：
Swappiness的迷失
实际上，当可用内存不足时，系统有两个选择：一个是通过SWAP来释放内存，另一个是删除Cache中的Page来释放内存。一个很常见的例子是：当拷贝大文件的时候，时常会发生SWAP现象。这是因为拷贝文件的时候，系统会把文件内容在Cache中按Page来缓存，此时一旦可用内存不足，系统便会倾向于通过SWAP来释放内存。
内核中的swappiness参数可以用来控制这种行为，缺省情况下，swappiness的值是60：
shell> sysctl -a | grep swappiness vm.swappiness = 60
它的含义是：如果系统需要内存，有百分之六十的概率执行SWAP。知道了这一点，我们很自然的会想到用下面的方法来降低执行SWAP的概率：
shell> echo "vm.swappiness = 1" >> /etc/sysctl.conf shell> sysctl -p
这样做的确可以降低执行SWAP的概率，但并不意味着永远不会执行SWAP。据网友报道某些情况下，直接改为0有可能出现灵异问题，所以建议改为1。
NUMA的诅咒
NUMA在MySQL社区有很多讨论，这里不多说了，直击NUMA和SWAP的恩怨纠葛。
大概了解一下NUMA最核心的numactl命令：
shell> numactl --hardware available: 2 nodes (0-1) node 0 size: 16131 MB node 0 free: 100 MB node 1 size: 16160 MB node 1 free: 10 MB node distances: node 0 1 0: 10 20 1: 20 10
可以看到系统有两个节点（其实就是两个物理CPU），它们各自分了16G内存，其中零号节点还剩100M内存，一号节点还剩10M内存。设想启动了一个需要11M内存的进程，系统把它分给了一号节点来执行，此时虽然系统总体的可用内存大于该进程需要的内存，但因为一号节点本身剩余的可用内存不足，所以仍然可能会触发SWAP行为。
需要说明的一点事，numactl命令中看到的各节点剩余内存中时不包括Cache内存的，如果需要知道，我们可以利用drop_caches参数先释放它：
shell> sysctl vm.drop_caches=1
注：这步操作可能会引起系统负载的震荡。
另：如何确定一个进程的节点及内存分配情况？网络上有现成的脚本。
如果要规避NUMA对SWAP的影响，最简单的方法就是在启动进程的时候禁用它：
shell> numactl --interleave=all ...
此外，内核参数zone_reclaim_mode通常也很重要，当某个节点可用内存不足时，如果为0的话，那么系统会倾向于从远程节点分配内存；如果为1的话，那么系统会倾向于从本地节点回收Cache内存。多数时候，Cache对性能很重要，所以0是一个更好的选择。
shell> echo "vm.zone_reclaim_mode = 0" >> /etc/sysctl.conf shell> sysctl -p
另：网络上有一些关于MySQL和SWAP的讨论，对于理解SWAP有一定意义，推荐：
补：Memcached在启动的时候如果带上了k选项，就能避免使用SWAP，但要慎用。
…
早些年，YouTube曾经被SWAP问题困扰过，他们当时的解决方法很极端：删除SWAP！不得不说这真是艺高人胆大，可惜对芸芸众生的我们而言，这实在是太危险了，因为如此一来，一旦内存耗尽，由于没有SWAP的缓冲，系统会立即开始OOM，结果可能会让问题变得更加复杂，所以大家还是安分守己做个老实人吧。
Jacky在2012-11-08 16:33:29说道：
Google内部绝大部分的服务都是直接取消swap的，因为相对于swap导致系统变慢而言，不如直接OOM死掉反而是很方便的方法——反正系统本身具有鲁棒性，本来就设计有容错机制的。
聪在2012-11-08 19:53:40说道：
我的程序可能也遇到了这个问题。。线上导出大文件后，cache被吃掉很多内存，可能导致java那边的一些内存就被挤到swap了（但我在sar的历史日志里，没有看到swap明显升高，所以还不确定。。）
另外，如果用mlockall事先锁住一块儿内存给java使用是否可行呢？盼赐教。
老王在2012-11-08 21:22:51说道：
第一个问题信息不足无法回答；第二个问题答案是肯定的，事实上，memcached就是用mlockall方法来禁止swap的（k选项）。
聪在2012-11-08 21:35:29说道：
多谢！
我想进一步问一下。我们线上用的是一台5g的虚拟机，ulimit -l结果是32。请问这个能不能设置成unlimited呢？
比较担心会对同宿主的其他虚拟机造成影响。老王在2012-11-08 22:22:36说道：
理论上是可以设置max locked memory到unlimited的，不过这样虽然可以避免SWAP，但是还需要注意OOM的影响，你可以结合自己的程序模拟一些极端情况看看。只有测试才能给出正确的答案。
聪在2012-11-09 09:40:30说道：
好的。
Pingback引用通告： 【转载】SWAP的罪与罚 | 一意孤星的世界
-
这个东西玄乎的好像根本不可控制一样，这种资源问题本来就应该让系统来支配才对！自己还要去管理，好麻烦啊
-
参考这篇文章：说的是为了追求程序速度，手动绑定NUMA，看来速度和内存是两个需要平衡的东西。。。
link-tec在2012-12-25 21:04:02说道：
au,very nice..
-
其实
dstat也是很不错的工具;-) 从系统管理的角度来讲（对 mysql 理解不够深入），只要 vmstat 输出中 si/so 不频繁即说明物理内存还够用。free 输出中 free + cached + buffer = + buffers/cache 的值，内核参数 drop_caches 只能释放 page cache 通常内核会管理，不用人肉 drop ...经验告诉我在最好别设置swappiness为 0 否则系统可能出现诡异的性能问题，因为存在无法判断的突发内存消耗，导致 page out 系统性能急速恶化。 ACb0y在2014-12-08 19:21:58说道：
很好的分享。
YQ在2015-01-16 10:25:45说道：
“另一个常用的是sar命令，它能列出系统在各个时间的SWAP使用情况：shell> sar -r”
这里应该是 sar -S 吧。C永东在2015-09-22 16:10:03说道：
今年新到一台HP服务器
安装了windows 08R2 数据库 MS SQL 08R2
双cpu
发现满负载的时候，任务管理器显示49% 其中的10核20线程全部到顶了；但是另外一个CPU动都不动一下~
这个是不是得取消掉默认的numa，改为普通的smp
