2714 字
14 分钟

KubeVirt 虚拟机突然关机:QEMU 容器 OOM 与内存余量

2026-11-12,一台前一晚刚扩到 32 vCPU、128 GiB 内存的 KubeVirt 虚拟机突然停了。用户没有主动关机,宿主机也仍有内存余量。

先恢复开机,再查宿主内核日志,发现 QEMU 所在的 compute 容器在 05:59:53 撞到了 128.75 GiB 的内存上限。内核杀掉 qemu-kvm,容器以 137 / OOMKilled 退出,虚拟机随后进入 Failed。

这次最后做了两项调整:客机仍给 128 GiB,容器另外留出内存;将运行策略从 Manual 改为 RerunOnFailure。 前者处理触顶问题,后者缩短基础设施异常退出后的停机时间。

环境为 KubeVirt 1.9.0、Kubernetes 1.35.9、Ubuntu 24.04 宿主、Linux 6.8、cgroup v2,客机为 Ubuntu 26.04。时间均为北京时间。以下用 example-vm 和 node-a 替代实际实例与宿主名,不包含客户地址、凭据和内部归档路径。

从异常退出找到真正的限制#

发现问题时,VM 显示 Stopped,旧 VMI 是 Failed,启动 Pod 的 compute 容器已经退出。先保留这些对象的状态,再手动启动 VM,避免只顾恢复而丢掉退出线索。

可以先查 VM、VMI 和启动 Pod:

Terminal window
namespace=kubevirt
vm=example-vm
kubectl -n "$namespace" get vm,vmi "$vm"
kubectl -n "$namespace" get pods \
-l "kubevirt.io/domain=$vm" -o json |
jq '.items[] | {
name: .metadata.name,
node: .spec.nodeName,
phase: .status.phase,
compute: [.status.containerStatuses[]? |
select(.name == "compute") |
{restartCount, state, lastState}]
}'

本次退出状态中最有用的是:

reason: OOMKilled
exitCode: 137

137 通常对应 128 + SIGKILL(9),单看它还不能判断是不是 OOM。这里有 OOMKilled,再加上宿主内核日志,才把原因确定下来。

在实际承载 VM 的 node-a 上检查对应时间段:

Terminal window
sudo journalctl -k \
--since '2026-11-12 05:58:00 +0800' \
--until '2026-11-12 06:01:00 +0800' \
--no-pager |
grep -E 'CONSTRAINT_MEMCG|usage.*limit|Killed process.*qemu-kvm'

去掉进程和容器标识后,关键记录是:

memory: usage 135008256kB, limit 135008256kB, failcnt 2540
oom-kill:constraint=CONSTRAINT_MEMCG,...,task=qemu-kvm,...
Memory cgroup out of memory: Killed process ... (qemu-kvm) ...

usage 与 limit 相等,限制范围是 CONSTRAINT_MEMCG。这说明 QEMU 所属的内存 cgroup 触顶了。按日志中的单位换算,这个上限约为 128.75 GiB。

故障前五分钟,宿主 MemAvailable 的最低采样仍有 66.42 GiB。结合内核记录,可以排除这次是宿主全局内存耗尽;单独看当前 free -h,则不能还原故障时的状态。

客机的可用内存与外层容器的占用要分开看#

当时几组数据如下,监控采样并非全部来自同一瞬间:

检查层级观察值含义
客机规格128 GiB暴露给客机的内存
故障前客机可用内存采样约 119 GiB不能据此认为客机业务已耗尽内存
宿主可用内存,前五分钟最低值66.42 GiB宿主仍有整体余量
compute 容器硬上限128.75 GiB本次实际触发的边界
OOM 日志中的 QEMU 匿名 RSS约 127.54 GiB已接近整台客机的内存规格
同次 cgroup 统计的内核内存约 1.16 GiB也占用该组的预算

客机认为可以回收或再次使用的内存页,不等于宿主已经收回相应的 QEMU 映射。外层还要承担 QEMU、libvirt、虚拟设备和内核记账开销。

cgroup v2 的 memory.current 表示该组及后代的总内存占用,memory.stat 则将匿名页、文件页和内核内存等拆开。kernel 还包含页表等项目,所以不能拿一个 QEMU RSS 数字直接代替容器总占用,也不要把 kernel 与其子项再次相加。Linux cgroup v2 内存接口

这一轮证据足以确认:容器预算不足以覆盖当时的实际记账量。 但它没有证明是哪一种负载让 QEMU 持有了这些页,也没有证明存在特定的 QEMU 或 libvirt 内存泄漏。没有做受控复现,就不把这些可能性写成已确认根因。

已有 overhead,为什么还会不够#

扩容时,VM 的内存配置仍是:

spec:
template:
spec:
domain:
resources:
requests:
memory: 128Gi
limits:
memory: 128Gi

这不意味着实际容器上限恰好只有 128 GiB。在 KubeVirt 1.9.0 中,控制器还会计算额外开销,加入生成的 launcher 容器资源配置。本次实际得到的就是约 128.75 GiB。1.9.0 资源渲染实现

这项估算也不是一个对所有 VM 通用的固定值。对应版本的 KVM 实现会计入内存页表、vCPU、虚拟设备及基础进程等开销;VM 的内存和设备配置改变,预算也可能改变。1.9.0 KVM 内存开销实现

所以,requests.memory = limits.memory = 客机内存 虽然会获得一份默认 overhead,仍不等于已经覆盖了所有实际峰值。

上游也有相近记录。Issue #4560 的后续反馈中,有用户未启用内存超分仍遇到 compute 容器触顶,尝试的缓解办法是显式指定较小的 memory.guest,让容器 request 和 limit 高于客机内存。这个历史案例支持同一处理方向,但不能据此认定本次和它是同一个具体缺陷。

保留客机 128 GiB,单独增加容器预算#

这次没有继续增加客机规格,而是把客机内存明确写出来,并将 VM 内存 request 和 limit 各提高到 136 GiB。

下面只展示相关字段,修改时需要保留实例原有的磁盘、网络、固件和其他配置:

spec:
template:
spec:
domain:
memory:
guest: 128Gi
resources:
requests:
memory: 136Gi
limits:
memory: 136Gi

request 也一起提高,是为了让调度器把这部分内存算进去。如果只增大 limit,却仍按较小 request 安排 VM,节点会保留较少的调度余量。

服务端 dry-run 通过后,按授权正常停止这台 VM,更新线上对象与磁盘上的实例 YAML,再在原宿主启动。没有调整集群全局的内存参数,也没有重建系统盘。

完成后交叉验证了三层结果:

配置或接口实际结果
客机 memory.guest128 GiB
libvirt 最大内存134217728 KiB,即 128 GiB
VM 字段中的 request / limit各 136 GiB
compute 容器 request / limit146855165953 bytes
内核 memory.max146855165952 bytes,约 136.77 GiB

这个样本中,容器配置与内核读回值仅相差 1 byte。验收时检查实际有效上限,并核对页面粒度的取整差异,不要求十进制字符串完全相等。

这次为 compute 增加了约 8 GiB 的有效余量,同时保持客机、原系统盘、IP 和宿主不变。SSH、Guest Agent 和客机内的 k3s 服务也都恢复正常。

修复后要看峰值和 OOM 计数#

启动时只占几 GiB 很正常,不能用这个瞬间证明修复有效。后面继续读取了同一次启动的 cgroup 峰值。

在当前 launcher 的 compute 容器里,下面这组只读命令适用于本次的 cgroup v2 布局。先确认 Pod 对应的 VM 和节点;热迁移期间可能同时出现源、目标两个 launcher,不要随意取列表第一项。

Terminal window
namespace=kubevirt
pod=virt-launcher-example-vm-xxxxx
kubectl -n "$namespace" exec -i "$pod" -c compute -- sh -s <<'SH'
set -eu
rel=$(awk -F: '$1 == "0" { print $3 }' /proc/self/cgroup)
cg="/sys/fs/cgroup${rel%/}"
if [ ! -r "$cg/memory.max" ]; then
cg=/sys/fs/cgroup
fi
for key in memory.current memory.peak memory.max memory.events; do
printf '\n%s\n' "$key"
cat "$cg/$key"
done
SH

其中 memory.max 是硬限制,memory.peak 是该 cgroup 的历史峰值,memory.events 中的 max、oom、oom_kill 能帮助判断触顶和终止情况。进程被换到新 Pod 后,要把新计数和旧 Pod 日志分开,不能拿新容器的零计数覆盖旧事故。Linux 内存控制接口

当日 18:23,新实例已持续运行约 7 小时 37 分钟,容器历史峰值 128.45 GiB,距离 136.77 GiB 上限还差 8.32 GiB。该容器的触顶、OOM 和 OOM kill 计数均为 0,重启次数也是 0。

这是当时观测窗口的结果,并非承诺之后所有负载都不会再触顶。后续监控也应同时保留客机可用内存、QEMU RSS、容器总量、硬上限和 OOM 计数。

OOM 后没有自动开机,是另一项策略#

内存修复之后,还有一个问题:既然是异常退出,为什么 VM 一直停着?

现场配置是 runStrategy: Manual,launcher Pod 的 restartPolicy 是 Never。容器退出后,不会由 kubelet 在原 Pod 中重新启动 QEMU;是否创建新的 VMI,要由 KubeVirt 的 VM 运行策略决定。

策略基础设施异常退出客机正常关机
Manual等待人工操作保持关闭
RerunOnFailure尝试重新启动保持关闭
Always尝试重新启动也会重新启动

这次需要保留用户主动关机的行为,所以改成了 RerunOnFailure。官方文档明确将 KVM 相关进程 OOM 列为其覆盖的基础设施故障;客机内部崩溃或服务卡死,并不都属于这一策略能够检测的范围。KubeVirt Run Strategies

这项策略是 VM 顶层字段,不需要靠重启当前正常运行的 VMI 生效。下面是本次变更的示意,执行前检查线上对象和实例源文件是否一致,执行后同步磁盘上的 YAML:

Terminal window
kubectl -n kubevirt patch vm example-vm --type=json -p='[
{"op":"test","path":"/spec/runStrategy","value":"Manual"},
{"op":"replace","path":"/spec/runStrategy","value":"RerunOnFailure"}
]'

变更后,控制器已回报新策略,VMI UID、launcher Pod UID、容器 ID、启动时间和客机 boot ID 全部保持,重启次数仍为 0。这一轮没有故意制造 OOM 或关机来验证自动恢复。

自动拉起能缩短事故后的停机时间,但如果内存上限仍然不足,它只会让同样的问题反复发生。

把这次处理写进后续建机规则#

最后将通用模板调整为显式区分 guest、request 和 limit,并采用一条便于执行的初始预算规则:

额外余量取客机内存的 1/16,向上取整到 256 MiB,最低 512 MiB。request 和 limit 均设置为客机内存加这份余量。 KubeVirt 仍会再加它计算的基础开销。

客机内存额外余量VM request / limit,各
2 GiB512 MiB2560 MiB
8 GiB512 MiB8704 MiB
16 GiB1 GiB17 GiB
32 GiB2 GiB34 GiB
64 GiB4 GiB68 GiB
128 GiB8 GiB136 GiB

这是一条本环境的预算基线,不是 KubeVirt 官方推荐比例,也不是所有规格都已压测通过。128 GiB 档有本次运行数据支持,其他规格仍要结合代表性负载验收。需要热迁移时,目标节点也必须能容纳包含额外余量的实际 Pod request。

新建模板同时采用 RerunOnFailure。由于创建 VM 就会启动实例,流程也随之改为:先确认独立系统盘克隆成功、初始化配置和地址就绪,再创建 VM;不再照搬 Manual 模板中“创建后额外 start”的步骤。

这次的关键验收是:客机仍拿到承诺的 128 GiB,容器拥有额外预算,故障后能按所需策略恢复,而这些配置也已经同步到实例 YAML 和后续模板。没有受控复现原始负载的部分,继续保留为观察边界。