KubeVirt 虚拟机突然关机:QEMU 容器 OOM 与内存余量
2026-11-12,一台前一晚刚扩到 32 vCPU、128 GiB 内存的 KubeVirt 虚拟机突然停了。用户没有主动关机,宿主机也仍有内存余量。
先恢复开机,再查宿主内核日志,发现 QEMU 所在的 compute 容器在 05:59:53 撞到了 128.75 GiB 的内存上限。内核杀掉 qemu-kvm,容器以 137 / OOMKilled 退出,虚拟机随后进入 Failed。
这次最后做了两项调整:客机仍给 128 GiB,容器另外留出内存;将运行策略从 Manual 改为 RerunOnFailure。 前者处理触顶问题,后者缩短基础设施异常退出后的停机时间。
环境为 KubeVirt 1.9.0、Kubernetes 1.35.9、Ubuntu 24.04 宿主、Linux 6.8、cgroup v2,客机为 Ubuntu 26.04。时间均为北京时间。以下用 example-vm 和 node-a 替代实际实例与宿主名,不包含客户地址、凭据和内部归档路径。
从异常退出找到真正的限制
发现问题时,VM 显示 Stopped,旧 VMI 是 Failed,启动 Pod 的 compute 容器已经退出。先保留这些对象的状态,再手动启动 VM,避免只顾恢复而丢掉退出线索。
可以先查 VM、VMI 和启动 Pod:
namespace=kubevirtvm=example-vm
kubectl -n "$namespace" get vm,vmi "$vm"kubectl -n "$namespace" get pods \ -l "kubevirt.io/domain=$vm" -o json | jq '.items[] | { name: .metadata.name, node: .spec.nodeName, phase: .status.phase, compute: [.status.containerStatuses[]? | select(.name == "compute") | {restartCount, state, lastState}] }'本次退出状态中最有用的是:
reason: OOMKilledexitCode: 137137 通常对应 128 + SIGKILL(9),单看它还不能判断是不是 OOM。这里有 OOMKilled,再加上宿主内核日志,才把原因确定下来。
在实际承载 VM 的 node-a 上检查对应时间段:
sudo journalctl -k \ --since '2026-11-12 05:58:00 +0800' \ --until '2026-11-12 06:01:00 +0800' \ --no-pager | grep -E 'CONSTRAINT_MEMCG|usage.*limit|Killed process.*qemu-kvm'去掉进程和容器标识后,关键记录是:
memory: usage 135008256kB, limit 135008256kB, failcnt 2540oom-kill:constraint=CONSTRAINT_MEMCG,...,task=qemu-kvm,...Memory cgroup out of memory: Killed process ... (qemu-kvm) ...usage 与 limit 相等,限制范围是 CONSTRAINT_MEMCG。这说明 QEMU 所属的内存 cgroup 触顶了。按日志中的单位换算,这个上限约为 128.75 GiB。
故障前五分钟,宿主 MemAvailable 的最低采样仍有 66.42 GiB。结合内核记录,可以排除这次是宿主全局内存耗尽;单独看当前 free -h,则不能还原故障时的状态。
客机的可用内存与外层容器的占用要分开看
当时几组数据如下,监控采样并非全部来自同一瞬间:
| 检查层级 | 观察值 | 含义 |
|---|---|---|
| 客机规格 | 128 GiB | 暴露给客机的内存 |
| 故障前客机可用内存采样 | 约 119 GiB | 不能据此认为客机业务已耗尽内存 |
| 宿主可用内存,前五分钟最低值 | 66.42 GiB | 宿主仍有整体余量 |
| compute 容器硬上限 | 128.75 GiB | 本次实际触发的边界 |
| OOM 日志中的 QEMU 匿名 RSS | 约 127.54 GiB | 已接近整台客机的内存规格 |
| 同次 cgroup 统计的内核内存 | 约 1.16 GiB | 也占用该组的预算 |
客机认为可以回收或再次使用的内存页,不等于宿主已经收回相应的 QEMU 映射。外层还要承担 QEMU、libvirt、虚拟设备和内核记账开销。
cgroup v2 的 memory.current 表示该组及后代的总内存占用,memory.stat 则将匿名页、文件页和内核内存等拆开。kernel 还包含页表等项目,所以不能拿一个 QEMU RSS 数字直接代替容器总占用,也不要把 kernel 与其子项再次相加。Linux cgroup v2 内存接口
这一轮证据足以确认:容器预算不足以覆盖当时的实际记账量。 但它没有证明是哪一种负载让 QEMU 持有了这些页,也没有证明存在特定的 QEMU 或 libvirt 内存泄漏。没有做受控复现,就不把这些可能性写成已确认根因。
已有 overhead,为什么还会不够
扩容时,VM 的内存配置仍是:
spec: template: spec: domain: resources: requests: memory: 128Gi limits: memory: 128Gi这不意味着实际容器上限恰好只有 128 GiB。在 KubeVirt 1.9.0 中,控制器还会计算额外开销,加入生成的 launcher 容器资源配置。本次实际得到的就是约 128.75 GiB。1.9.0 资源渲染实现
这项估算也不是一个对所有 VM 通用的固定值。对应版本的 KVM 实现会计入内存页表、vCPU、虚拟设备及基础进程等开销;VM 的内存和设备配置改变,预算也可能改变。1.9.0 KVM 内存开销实现
所以,requests.memory = limits.memory = 客机内存 虽然会获得一份默认 overhead,仍不等于已经覆盖了所有实际峰值。
上游也有相近记录。Issue #4560 的后续反馈中,有用户未启用内存超分仍遇到 compute 容器触顶,尝试的缓解办法是显式指定较小的 memory.guest,让容器 request 和 limit 高于客机内存。这个历史案例支持同一处理方向,但不能据此认定本次和它是同一个具体缺陷。
保留客机 128 GiB,单独增加容器预算
这次没有继续增加客机规格,而是把客机内存明确写出来,并将 VM 内存 request 和 limit 各提高到 136 GiB。
下面只展示相关字段,修改时需要保留实例原有的磁盘、网络、固件和其他配置:
spec: template: spec: domain: memory: guest: 128Gi resources: requests: memory: 136Gi limits: memory: 136Girequest 也一起提高,是为了让调度器把这部分内存算进去。如果只增大 limit,却仍按较小 request 安排 VM,节点会保留较少的调度余量。
服务端 dry-run 通过后,按授权正常停止这台 VM,更新线上对象与磁盘上的实例 YAML,再在原宿主启动。没有调整集群全局的内存参数,也没有重建系统盘。
完成后交叉验证了三层结果:
| 配置或接口 | 实际结果 |
|---|---|
客机 memory.guest | 128 GiB |
| libvirt 最大内存 | 134217728 KiB,即 128 GiB |
| VM 字段中的 request / limit | 各 136 GiB |
| compute 容器 request / limit | 146855165953 bytes |
内核 memory.max | 146855165952 bytes,约 136.77 GiB |
这个样本中,容器配置与内核读回值仅相差 1 byte。验收时检查实际有效上限,并核对页面粒度的取整差异,不要求十进制字符串完全相等。
这次为 compute 增加了约 8 GiB 的有效余量,同时保持客机、原系统盘、IP 和宿主不变。SSH、Guest Agent 和客机内的 k3s 服务也都恢复正常。
修复后要看峰值和 OOM 计数
启动时只占几 GiB 很正常,不能用这个瞬间证明修复有效。后面继续读取了同一次启动的 cgroup 峰值。
在当前 launcher 的 compute 容器里,下面这组只读命令适用于本次的 cgroup v2 布局。先确认 Pod 对应的 VM 和节点;热迁移期间可能同时出现源、目标两个 launcher,不要随意取列表第一项。
namespace=kubevirtpod=virt-launcher-example-vm-xxxxx
kubectl -n "$namespace" exec -i "$pod" -c compute -- sh -s <<'SH'set -eurel=$(awk -F: '$1 == "0" { print $3 }' /proc/self/cgroup)cg="/sys/fs/cgroup${rel%/}"if [ ! -r "$cg/memory.max" ]; then cg=/sys/fs/cgroupfi
for key in memory.current memory.peak memory.max memory.events; do printf '\n%s\n' "$key" cat "$cg/$key"doneSH其中 memory.max 是硬限制,memory.peak 是该 cgroup 的历史峰值,memory.events 中的 max、oom、oom_kill 能帮助判断触顶和终止情况。进程被换到新 Pod 后,要把新计数和旧 Pod 日志分开,不能拿新容器的零计数覆盖旧事故。Linux 内存控制接口
当日 18:23,新实例已持续运行约 7 小时 37 分钟,容器历史峰值 128.45 GiB,距离 136.77 GiB 上限还差 8.32 GiB。该容器的触顶、OOM 和 OOM kill 计数均为 0,重启次数也是 0。
这是当时观测窗口的结果,并非承诺之后所有负载都不会再触顶。后续监控也应同时保留客机可用内存、QEMU RSS、容器总量、硬上限和 OOM 计数。
OOM 后没有自动开机,是另一项策略
内存修复之后,还有一个问题:既然是异常退出,为什么 VM 一直停着?
现场配置是 runStrategy: Manual,launcher Pod 的 restartPolicy 是 Never。容器退出后,不会由 kubelet 在原 Pod 中重新启动 QEMU;是否创建新的 VMI,要由 KubeVirt 的 VM 运行策略决定。
| 策略 | 基础设施异常退出 | 客机正常关机 |
|---|---|---|
Manual | 等待人工操作 | 保持关闭 |
RerunOnFailure | 尝试重新启动 | 保持关闭 |
Always | 尝试重新启动 | 也会重新启动 |
这次需要保留用户主动关机的行为,所以改成了 RerunOnFailure。官方文档明确将 KVM 相关进程 OOM 列为其覆盖的基础设施故障;客机内部崩溃或服务卡死,并不都属于这一策略能够检测的范围。KubeVirt Run Strategies
这项策略是 VM 顶层字段,不需要靠重启当前正常运行的 VMI 生效。下面是本次变更的示意,执行前检查线上对象和实例源文件是否一致,执行后同步磁盘上的 YAML:
kubectl -n kubevirt patch vm example-vm --type=json -p='[ {"op":"test","path":"/spec/runStrategy","value":"Manual"}, {"op":"replace","path":"/spec/runStrategy","value":"RerunOnFailure"}]'变更后,控制器已回报新策略,VMI UID、launcher Pod UID、容器 ID、启动时间和客机 boot ID 全部保持,重启次数仍为 0。这一轮没有故意制造 OOM 或关机来验证自动恢复。
自动拉起能缩短事故后的停机时间,但如果内存上限仍然不足,它只会让同样的问题反复发生。
把这次处理写进后续建机规则
最后将通用模板调整为显式区分 guest、request 和 limit,并采用一条便于执行的初始预算规则:
额外余量取客机内存的 1/16,向上取整到 256 MiB,最低 512 MiB。request 和 limit 均设置为客机内存加这份余量。 KubeVirt 仍会再加它计算的基础开销。
| 客机内存 | 额外余量 | VM request / limit,各 |
|---|---|---|
| 2 GiB | 512 MiB | 2560 MiB |
| 8 GiB | 512 MiB | 8704 MiB |
| 16 GiB | 1 GiB | 17 GiB |
| 32 GiB | 2 GiB | 34 GiB |
| 64 GiB | 4 GiB | 68 GiB |
| 128 GiB | 8 GiB | 136 GiB |
这是一条本环境的预算基线,不是 KubeVirt 官方推荐比例,也不是所有规格都已压测通过。128 GiB 档有本次运行数据支持,其他规格仍要结合代表性负载验收。需要热迁移时,目标节点也必须能容纳包含额外余量的实际 Pod request。
新建模板同时采用 RerunOnFailure。由于创建 VM 就会启动实例,流程也随之改为:先确认独立系统盘克隆成功、初始化配置和地址就绪,再创建 VM;不再照搬 Manual 模板中“创建后额外 start”的步骤。
这次的关键验收是:客机仍拿到承诺的 128 GiB,容器拥有额外预算,故障后能按所需策略恢复,而这些配置也已经同步到实例 YAML 和后续模板。没有受控复现原始负载的部分,继续保留为观察边界。