跳转到文档内容
版本:下一个

GPU 共享测试复现指南

核心环境​

项目配置
GPU 与系统2× A100-SXM4-40GB;Ubuntu 24.04.5;驱动 615.71.10;CUDA 13.4
Kubernetes单节点 K3s 1.37.1
推理与模型Dynamo 1.6.1、vLLM 0.31.0;Qwen3-4B BF16
对比方案HAMi 2.10.0;KAI 0.18.6 + GPU Fractioning 0.1.8
压测工具AIPerf 0.13.0;Python 3.11–3.13

平台与模型缓存按 Dynamo 部署指南准备;共享方案使用 HAMi chart 或 GPU Fractioning。

测试流程​

1. 获取代码​

git clone https://github.com/Project-HAMi/gpu-sharing-benchmarks.git
cd gpu-sharing-benchmarks
python3 -m venv .venv
source .venv/bin/activate
pip install aiperf==0.13.0

2. 生成配置​

复制 config.example.json 为 config.json,填写节点名、两个 GPU UUID 和模型缓存路径。默认配置不限算力,另生成 HAMi 50% 配置:

cp config.example.json config.json
# 填写 config.json 后执行:
python3 prepare.py --config config.json --out /var/tmp/hami-sharing-run
jq '.namespace_prefix = "sharing-bench-50pct"' config.json > config.50pct.json
python3 prepare.py --config config.50pct.json --out /var/tmp/hami-sharing-50pct --hami-core-limit 50

3. 性能对比​

依次启用对应平台后运行。HAMi 节点标记 gpu=on,两套设备插件轮流启用。独立 MPS 和故障测试需免密 sudo。每条命令均包含 Graph 和 Eager:

# 原生 NVIDIA 插件:单实例、双实例
python3 reproduce.py --root /var/tmp/hami-sharing-run --profile fullstack --case native-default --case native-eager
python3 reproduce.py --root /var/tmp/hami-sharing-run --profile native-pair-fullstack

# HAMi 不限算力:安装 platform/hami-fullstack-values.yaml
python3 reproduce.py --root /var/tmp/hami-sharing-run --profile fullstack --case hami-default --case hami-eager
python3 reproduce.py --root /var/tmp/hami-sharing-run --profile controlled

# HAMi 50%:安装 platform/hami-50pct-values.yaml
python3 reproduce.py --root /var/tmp/hami-sharing-50pct --profile fullstack --case hami-default --case hami-eager
python3 reproduce.py --root /var/tmp/hami-sharing-50pct --profile controlled --case hami-pair-graph --case hami-pair-eager

# KAI + GPU Fractioning:default-queue 队列,sm-sharing 模式
python3 reproduce.py --root /var/tmp/hami-sharing-run --profile fullstack --case fractions-default --case fractions-eager

# 停止 GPU Fractioning,运行独立 MPS 对照
python3 reproduce.py --root /var/tmp/hami-sharing-run --profile mps-controlled

4. 故障测试​

停止推理负载和共享服务,先运行原生/MPS 测试,再切换到 HAMi:

python3 reproduce.py --root /var/tmp/hami-sharing-run --profile fault
# 安装 platform/hami-fullstack-values.yaml,切换到 HAMi 不限算力配置
python3 reproduce.py --root /var/tmp/hami-sharing-run --profile hami-fault

5. 汇总结果​

for profile in fullstack controlled mps-controlled native-pair-fullstack; do
python3 summarize_metrics.py --root /var/tmp/hami-sharing-run/$profile --out /var/tmp/hami-sharing-run/$profile.csv
done
for profile in fullstack controlled; do
python3 summarize_metrics.py --root /var/tmp/hami-sharing-50pct/$profile --out /var/tmp/hami-sharing-50pct/$profile.csv --allow-partial
done

性能结果输出为 CSV;故障结果见各故障目录的 aggregate.json 和 conditions.csv。对比数据与结论见测试报告。

CNCFHAMi 是 CNCF 孵化项目