跳转到文档内容
版本:下一个

共享方案的性能与故障隔离

多个推理实例共享一张 GPU 时,评估重点是推理性能和故障对其他实例的影响。本文以直接运行 vLLM 的单实例和双实例为基线,对比 HAMi 与基于 NVIDIA MPS 的共享方案,展示各方案的吞吐、响应延迟和故障隔离测试结果。

性能测试在 A100 上运行 Qwen3-4B,故障测试使用 CUDA 测试程序。固定缓存性能测试使用 legacy MPS v2,常规性能测试使用 GPU Fractioning(底层使用了 MPS v3),故障测试直接使用 MPS v3。

测试目的​

  • 在每卡总并发相同的条件下,比较单实例与双实例的吞吐和延迟,再比较双实例使用 HAMi 或 MPS 时的表现。
  • 检查一个 CUDA 进程发生故障时,同卡及另一张卡上的进程能否继续正确计算。

性能表中的「原生」指直接运行 vLLM、未启用 HAMi 或 MPS 的基线配置。单实例每卡运行一个推理实例,双实例每卡运行两个独立 CUDA 进程。原生双实例为共享方案提供相同实例数下的比较基线。

各配置承担相同的每卡总并发,例如总并发 8 时,单实例承担 8,双实例各承担 4。

术语说明​

术语含义及本次测试中的用法
CUDA kernel在 GPU 上执行的计算函数;一次推理会调用多个 kernel。
Graph / CUDA Graph将一组 GPU 操作及其依赖关系预先记录,之后重复执行,减少 CPU 逐次提交操作的开销。本文 Graph 指 vLLM 默认执行模式,可使用 CUDA Graph。
Eager按执行流程逐次提交计算。本次通过 --enforce-eager 启用,该选项关闭 CUDA Graph 和 vLLM 的编译集成。
MPS(Multi-Process Service)NVIDIA 的多进程服务,让多个 CUDA 进程通过服务端共享 GPU。legacy MPS v2 与 MPS v3 指不同的控制接口协议。
GPU Fractioning配合 KAI Scheduler 使用的 GPU 共享组件;本次使用 0.1.8 发布版的 MPS v3 共享服务。
KV 缓存、前缀缓存KV 缓存保存模型已计算的注意力键和值;前缀缓存进一步复用不同请求中相同提示词前缀的 KV 缓存。
TTFT(Time to First Token)请求发出到首个 token 返回的等待时间,越低越好。
TPOT(Time per Output Token)单个请求生成后续 token 的平均耗时,越低越好。
p50、p99p50 表示 50% 的请求耗时不超过该值,p99 表示 99% 的请求耗时不超过该值。本文对各实例的同一分位数求平均。

测试结果​

  • 固定缓存的 Graph 测试中,原生单实例为 628.57、原生双实例为 335.51、HAMi 50% 双实例为 335.87(相对原生双实例 +0.11%)、legacy MPS v2 为 449.36 tokens/s/GPU。
  • 常规 Graph 测试的五档并发下,相对原生双实例,HAMi 50% 的吞吐差异为 −0.66%~+2.19%,HAMi 不限算力为 −0.10%~+0.20%;GPU Fractioning 高 25.14%~37.60%。
  • 常规 Eager 测试的五档并发下,HAMi 50% 比原生双实例低 4.46%~7.94%;固定缓存 Eager 中低 2.22%。
  • 分别注入 GPU 非法写入、异常指令(trap)和计算中强制结束进程三类故障,每类测试两次。使用原生或 HAMi 配置时,同卡健康进程均保持正确输出;使用 MPS v3 的共享或静态分区配置时,同卡健康进程均受影响。

固定缓存里,原生单实例、原生双实例和 legacy MPS 在 A 组,HAMi 50% 在 C 组。常规测试里,原生双实例在 B 组,HAMi 50% 在 C 组,HAMi 不限算力和 GPU Fractioning 在 A 组。跨组相减的百分比同时包含卡的差别和方案的差别,说明见测试条件。

HAMi 2.10 的算力限制加在 kernel launch 上。Eager 关闭 Graph 后,每次 kernel 启动都执行这道检查,再按算力配额和算力限制是否开启决定是否限流。Graph 回放调用 cuGraphLaunch,该版本将调用直接转发给 CUDA 驱动,由驱动执行已录制的计算 Graph,因此 Graph 回放会绕过上述 HAMi 限流路径。

推理性能​

「HAMi 50%」指每实例配置 50% 算力配额和 20 GiB 显存配额。同卡两个实例配置的算力配额合计为 100%。

固定缓存对照:每实例 6 GiB​

每卡总并发 8,每实例 KV 缓存固定为 6 GiB,关闭前缀缓存;最大模型长度 4096、最大序列数 32。HAMi 每实例算力配额为 50%,MPS 使用 legacy v2;同一次部署测三轮。

固定缓存测试的 Graph 与 Eager 吞吐。柱形为三轮均值,柱尾细线为一个样本标准差

柱形是三轮吞吐均值,柱尾细线覆盖「均值减一个样本标准差」到「均值加一个样本标准差」:线越长,三轮结果波动越大。吞吐单位为输出 tokens/s/GPU,越高越好。

吞吐为三轮均值 ± 样本标准差,延迟单位为 ms。

模式配置输出 tokens/s/GPUTTFT p50TTFT p99TPOT p50TPOT p99
Graph原生单实例628.57 ± 0.30335.46678.1911.4212.02
Graph原生双实例335.51 ± 0.02563.53738.6121.7122.40
GraphHAMi 双实例(50%)335.87 ± 0.06558.37729.4521.7122.39
GraphLegacy MPS 双实例449.36 ± 13.92413.50538.9816.8217.40
Eager原生单实例193.95 ± 1.17331.43722.7040.0340.82
Eager原生双实例185.80 ± 0.73440.87659.3841.5242.73
EagerHAMi 双实例(50%)181.67 ± 1.32426.37671.9742.5443.68
EagerLegacy MPS 双实例188.51 ± 0.73311.23500.7041.3742.55

吞吐与延迟的统计方式​

图和性能表采用「实例吞吐求和」:先计算各实例每秒输出的 token 数,再求和并除以 GPU 数量。

另一种算法按「整个测试时段」计算:全部实例输出的 token 总数,除以最早开始到最晚结束的总时长,再除以 GPU 数量。实例测量时段未完全重叠时,两种结果会不同。Legacy MPS 的结果如下:

模式实例吞吐求和(tokens/s/GPU)整个测试时段(tokens/s/GPU)
Graph449.36399.28
Eager188.51187.29

按整个测试时段计算,Graph 原生双实例为 334.50,HAMi 50% 为 334.97 tokens/s/GPU;比较时应使用同一种算法。

延迟先分别平均各实例的 p50、p99,再平均三轮结果。

固定缓存数据 · 未启用算力限制的参考数据 · 50% 算力逐轮结果。

常规测试:自动分配缓存​

通过 Dynamo 运行 vLLM,用官方 run-sweep.sh 压测,自动分配 KV 缓存并使用默认前缀缓存,各配置测一轮。

每卡并发 2 和 4 时,前缀缓存读取比例为:原生单实例 99.61%,所有双实例配置均为 0%。每卡并发 8 时,两者分别为 49.81% 和 0%。五档并发的完整比例见常规测试 CSV。因此,单、双实例的差异也包含缓存复用的影响;固定缓存测试已关闭前缀缓存。

每卡总并发为 2、4、8、16、32,除原生单实例外均为双实例;HAMi 两种配置均为每实例 20 GiB 显存配额。吞吐单位为输出 tokens/s/GPU;粗体为该档最高值,括号为相对原生双实例的差异。

常规测试的 Graph 与 Eager 吞吐。每条折线是一种配置,每个点是该配置在某一档并发下的一次测量

每条折线是一种配置,每个点是该配置在某一档并发下测得的一轮吞吐,包含 GPU Fractioning 和 HAMi 不限算力。越高越好。

Graph(默认)​

每卡并发原生单实例原生双实例HAMi 50%HAMi 不限算力GPU Fractioning
2225.5097.6699.80(+2.19%)97.61(−0.05%)134.37(+37.60%)
4426.82186.77186.92(+0.08%)186.76(0.00%)255.64(+36.88%)
8693.67335.67336.52(+0.25%)335.62(−0.02%)438.59(+30.66%)
161038.10565.45561.73(−0.66%)564.90(−0.10%)718.28(+27.03%)
321117.88817.12817.89(+0.10%)818.71(+0.20%)1022.54(+25.14%)

Eager​

每卡并发原生单实例原生双实例HAMi 50%HAMi 不限算力GPU Fractioning
251.2651.8447.76(−7.88%)48.11(−7.20%)50.34(−2.91%)
4103.10101.9993.89(−7.94%)94.42(−7.42%)99.66(−2.29%)
8200.28194.53180.49(−7.21%)182.01(−6.44%)189.54(−2.57%)
16377.41361.61341.28(−5.62%)343.67(−4.96%)361.11(−0.14%)
32653.43630.84602.68(−4.46%)606.86(−3.80%)636.66(+0.92%)

五档并发的吞吐差异:

  • HAMi 50%(Graph):相对原生双实例,吞吐差异为 −0.66%~+2.19%。
  • GPU Fractioning:Graph 高于原生双实例 25.14%~37.60%;Eager 差异为 −2.91%~+0.92%。
  • HAMi(Eager):相对原生双实例,50% 配置低 4.46%~7.94%,不限算力配置低 3.80%~7.42%。

响应延迟:每卡并发 8​

下表为各实例 p99 的均值,单位 ms。

配置Graph 首 tokenGraph 后续 tokenEager 首 tokenEager 后续 token
原生单实例665.7611.95730.7140.39
原生双实例730.3522.44669.5540.83
HAMi 50%714.9922.41588.0444.52
HAMi 不限算力739.0922.43599.8943.90
GPU Fractioning427.7417.48595.7942.67

相对原生双实例,HAMi 50% 在 Eager 下的首 token p99 较低,后续每 token 耗时的 p99 较高。

故障隔离结果​

同卡运行故障进程和健康进程,另一张 GPU 运行健康对照进程;健康进程重放 CUDA Graph 并校验输出。每项测两次,观察故障前 3 秒、后至少 6 秒。

故障测试使用 HAMi 不限算力配置,每实例显存配额为 20 GiB。MPS v3 分别测试共享和静态分区配置,共享配置启用 memacct、context-share。

2/2 表示同卡健康进程两次均保持正确结果,0/2 表示两次均受影响。

注入事件原生多进程HAMi 多进程MPS v3 共享MPS v3 所测静态配置
超额显存申请2/22/22/22/2
GPU 非法写入2/22/20/20/2
GPU 异常指令(trap)2/22/20/20/2
计算中强制结束进程(SIGKILL)2/22/20/20/2
安全终止 MPS 客户端不适用不适用2/22/2

36 次异卡对照均正常。超额显存用例申请可见容量的两倍,申请均被拒绝。故障计数、错误码与最大采样间隔(CSV)。

静态配置的两个同卡客户端各报告 54 个流式多处理器(SM),分区 ID 不同。机制说明见 MPS 故障处理和静态分区。

测试条件​

硬件为 2× A100-SXM4-40GB。软件版本:Ubuntu 24.04.5、NVIDIA 驱动 615.71.10、Dynamo 1.6.1、vLLM 0.31.0、AIPerf 0.13.0。模型为 Qwen3-4B,BF16,每个实例使用一张 GPU;输入 2,048 tokens,输出 256 tokens。

A、B、C 都是 2 张 A100-SXM4-40GB,各自是不同的一对物理卡。同一字母是同一对卡。同型号的卡性能会有差别,跨组相减得到的百分比里,同时有卡的差别和方案的差别。各测试所用的组和日期如下。

测试配置GPU 组采集日期(UTC)
固定缓存原生单实例A2026-11-03
固定缓存原生双实例A2026-11-03
固定缓存legacy MPSA2026-11-03
固定缓存HAMi 不限算力A2026-11-03
固定缓存HAMi 50%C2026-11-05
常规测试原生单实例A2026-11-02
常规测试原生双实例B2026-11-04
常规测试HAMi 50%C2026-11-05
常规测试HAMi 不限算力A2026-11-02
常规测试GPU FractioningA2026-11-02
故障测试原生、HAMi 不限算力、MPS v3 共享、MPS v3 静态分区B2026-11-04

常规性能测试的部署配置如下。固定缓存的 legacy MPS v2 和故障测试的 MPS v3 配置见对应小节。

部署方式每卡实例数显存配置执行配置
原生单实例1可见整卡显存独立 CUDA 进程
原生双实例2每实例引擎显存利用率 0.45独立 CUDA 进程;不使用 HAMi 或 MPS
HAMi 2.10.0 双实例2每实例 20 GiB 配额每实例 50% 算力配额
HAMi 2.10.0 双实例(不限算力)2每实例 20 GiB 配额关闭算力限制
KAI 0.18.6 + GPU Fractioning 0.1.8 双实例2每实例 20 GiB 配额MPS v3 sm-sharing;未启用静态 SM 分区

本次使用 GPU Fractioning v0.1.8 发布版的共享 MPS。NVIDIA 报告使用 nv-kmcgill53 维护的 KAI-Scheduler 和 GPU Fractioning 修改版,分支名均为 kmcgill/sm-sharing-main,为每个容器创建独立的 MPS 命名空间并设置算力和显存配额。

复现脚本​

运行步骤 · 测试代码 · 全部数据

汇总数据:常规测试 CSV · 不限算力参考 CSV。

结论​

共享方案是否值得推荐,取决于 NVIDIA 容器化 GPU 虚拟化的帕累托前沿。这条前沿尚未测出,本文不推荐任何方案。

CNCFHAMi 是 CNCF 孵化项目