跳转到文档内容
HAMi
首页
文档
教程
案例研究
社区
博客
发布记录
简体中文
English
简体中文
Stars
3,611
ctrl
K
1 篇文档带有标签[inference]
查看全部标签
实验 6: 使用 HAMi 部署 vLLM 推理服务
在已有 GPU 集群上安装 HAMi,并用 GPU 切分能力调度 vLLM 推理服务。
HAMi 是 CNCF Sandbox 项目