启用太初元碁 GPU 共享
简介
太初元碁显卡按计算核心调度。容器通过 tecorigin.com/gpucore 申请核心数量,由 HAMi 决定每个容器使用哪张卡、以及卡上的哪些核心。
HAMi 对太初元碁设备提供以下能力:
- 核心共享:
tecorigin.com/gpucore: N占用一张卡的 N 个核心,因此多个容器可以共享同一张物理卡。 - 核心级放置:分配给容器的核心不必连续,因此中间核心已被占用的卡仍可接收请求。
- 多卡放置:当单个请求超过一张卡的核心数时,会拆分到多张卡上;但只要能由一张卡容纳,就一定不会被拆分。
- 指定显卡:通过
tecorigin.com/use-gpuuuid和tecorigin.com/nouse-gpuuuid按显卡序列号绑定或排除特定显卡。
显存不参与请求。太初加速卡在硬件上把核心与显存切分开,每个核心自带一份显存,也不存在可申请的显存资源,HAMi 只按核心放置容器。详见注意事项与限制。
前置条件
- 每个 GPU 节点已安装太初元碁加速卡驱动与 SDAA 运行时。
- 已部署发布节点设备注解中所述注解、并对外通告
tecorigin.com/gpucore资源的太初元碁 device plugin。该插件由厂商提供和运维,HAMi chart 不会安装它。 - 使用包含太初元碁后端的 HAMi 构建。该后端尚未进入 HAMi 正式发布版本,需要通过包含
pkg/device/tecorigin的构建安装。
启用太初元碁设备支持
请使用包含太初元碁后端的 HAMi 构建。目前任何已发布的 Chart 都不包含该后端:需从含有 pkg/device/tecorigin 的提交构建镜像,并用同一提交下的 charts/hami 打包安装,做法见准备 HAMi Chart,并在 chart 中保持太初元碁配置启用:
devices:
tecorigin:
enabled: true
resourceCountName: "tecorigin.com/gpucore"
如果集群中没有 NVIDIA GPU,可关闭 NVIDIA 插件,避免它等待节点:
devicePlugin:
enabled: false
验证节点
device plugin 会通告节点核心总数并发布显卡列表,调度前请确认两者:
kubectl get node <node-name> -o jsonpath='{.status.allocatable.tecorigin\.com/gpucore}'
kubectl get node <node-name> -o yaml | grep hami.io/node-tecorigin-register
第一条命令输出节点上的核心数——8 张 4 核卡会输出 32;第二条输出每张卡的设备列表。只有资源、没有注解的节点不会被调度器注册,申请核心的 Pod 会一直处于 Pending。
节点设备注解
注册注解采用 HAMi 的节点设备 CSV 格式,与海光、天数智芯发布的格式相同,因此插件无需自定义私有格式:
3CP100241200184,4,15296,15,Tecorigin,0,true,0,hami-core:
每张卡一个片段,每个片段以 : 结尾。每个片段必须包含全部九个字段:
| 字段 | 含义 | 插件侧要求 |
|---|---|---|
id | 显卡序列号 | 即 teco-smi 输出的字符串。tecorigin.com/use-gpuuuid 匹配该值,HAMi 也会在分配注解中原样返回。 |
count | 本卡核心数 | 必须为 1–4。非法的 count 会导致整个节点注解被拒绝;HAMi 根据该值生成核心掩码。 |
memory | 卡显存,单位 MiB | 调度逻辑不使用该字段。数值超过 1 TiB 会拒绝整个节点注解,用于防止误填入字节数。 |
devcore | 核心掩码 | HAMi 会用 count 推导的掩码覆盖该值。 |
type | 设备类型 | HAMi 统一记录为 Tecorigin;注解中的值不参与匹配。 |
numa | NUMA 节点 | 显卡不感知 NUMA 时填 0。 |
health | 显卡是否可用 | 为 false 时该卡被剔除;所有卡都不健康的节点会退出调度器缓存。 |
index | 显卡物理位置 | 必填。HAMi 用它打破评分并列,因此把所有卡 index 都写成 0 的 7 字段格式会被拒绝。 |
mode | 运行模式 | 为空时记为 hami-core。 |
插件还可以发布 hami.io/node-tecorigin-cores,即显卡序列号到该卡全局核心编号的映射:
{"3CP100241200184":[0,1,2,3],"3CP100241200185":[4,5,6,7]}
HAMi 仅将该核心映射配置拷贝至调度器缓存用于问题排查,调度逻辑并不会读取该配置。HAMi 在每次健康检查时对比相关注解,修改注解后无需重启调度器即可重新加载显卡列表。
hami.io/node-handshake-tecorigin 属于旧版握手流程,HAMi 仅负责清理该注解,设备插件无需写入它。
分配注解
Pod 调度完成后,HAMi 把选中的设备写入 hami.io/tecorigin-devices-to-allocate(待分配列表,供 device plugin 消费)和 hami.io/tecorigin-devices-allocated(HAMi 自身记录)。每个容器的条目格式为:
<显卡序列号>,<类型>,<显存 MiB>,<核心掩码>
显存 MiB 始终为0。
核心掩码 是该卡上分配核的十进制位掩码:4核卡分配全部4核时值为 15(0b1111)。单核分配的掩码取决于选中的本地核序号:核0 → 1,核1 → 2,核2 → 4,核3 → 8。插件会把掩码展开为全局核编号并设置 TECO_VISIBLE_DEVICES。由于掩码是卡本地的,只能依靠可选的核ID映射表手动反向追溯核编号归属哪张卡。
运行太初元碁任务
通过 tecorigin.com/gpucore 申请核心:
apiVersion: v1
kind: Pod
metadata:
name: teco-pod
spec:
restartPolicy: OnFailure
containers:
- name: teco-pod
image: ubuntu:22.04
command: ["sleep"]
args: ["infinity"]
resources:
limits:
# 核心数:1 表示占用太初元碁卡的一个核心。
tecorigin.com/gpucore: 1
下一步:
- 为容器分配核心——多种请求方式及调度行为。
- 独占整卡——占用一张卡的全部核心。
- 分配到特定设备——按序列号绑定显卡。
- 排查太初元碁调度问题——Pod 挂起、节点未注册、分配原因。
注意事项与限制
-
显存隔离是物理隔离。 核心与显存在卡上就被切分开,容器能访问的显存就是所分配核心对应的那一份。HAMi 只负责分配核心,硬件保证容器停在自己的那一份里:没有分配到的核心,其显存容器也访问不到。
-
算力隔离是物理隔离。 分配给容器的每个核心都由该容器独占,不与其他容器分时复用,因此不存在需要限流的执行速率。同卡上的两个容器运行在互不重叠的核心上,不会争抢同一个核心,但仍会共享整卡的显存带宽。
-
只要一张卡能容纳,请求就不会被拆分。 仅当请求超过最大单卡核心数时才会跨卡拆分。若某节点上必须超出物理最少卡数才能满足请求,该节点会被跳过,并在分配原因中记为
CardInsufficientCore。 -
核心数必须是整数。 小数或负数的
tecorigin.com/gpucore会被判定为非法设备请求;显式写0表示不申请设备。同时设置 limits 与 requests 时以 limits 为准。 -
显存不是独立资源。 太初加速卡在硬件上对核心与显存做了物理切分,每个核心独占一份显存,申请 N 个核心即同时获得这 N 个核心对应的显存。因此不存在
tecorigin.com/gpumem或按百分比的显存资源,设置它们会导致 Pod 处于 Pending 状态。HAMi 只分配核心,不单独切分显存。