HAMi GPU Descheduler:自动整理 Kubernetes 集群的 GPU 碎片
· 阅读需要 11 分钟
GPU 是 Kubernetes 集群里最昂贵的资源,因此大多数团队会选择共享使用。借助 HAMi,一张物理 GPU 可以被切分成多个虚拟 GPU 分配给不同的 Pod,每个 Pod 都拥有独立的显存和算力隔离。
但共享也带来了一个长期运行的集群迟早会遇到的问题:GPU 碎片化。弹性伸缩、滚动升级、失败重试,Pod 不断创建销毁,每次都会在 GPU 上留下小块碎片。某一天,一个新 Pod 申请一整张 GPU,监控面板显示集群还有大量空闲显存,这个 Pod 却一直 Pending。容量明明存在,只是散落成了无法使用的碎片。
本文解释 GPU 碎片化的成因、手工治理为什么困难,以及 HAMi GPU Descheduler 如何自动化地解决这个问题。