跳转到文档内容
版本:下一个

启用太初元碁 GPU 共享

简介​

太初元碁显卡按计算核心调度。容器通过 tecorigin.com/gpucore 申请核心数量,由 HAMi 决定每个容器使用哪张卡、以及卡上的哪些核心。

HAMi 对太初元碁设备提供以下能力:

  • 核心共享:tecorigin.com/gpucore: N 占用一张卡的 N 个核心,因此多个容器可以共享同一张物理卡。
  • 核心级放置:分配给容器的核心不必连续,因此中间核心已被占用的卡仍可接收请求。
  • 多卡放置:当单个请求超过一张卡的核心数时,会拆分到多张卡上;但只要能由一张卡容纳,就一定不会被拆分。
  • 指定显卡:通过 tecorigin.com/use-gpuuuid 和 tecorigin.com/nouse-gpuuuid 按显卡序列号绑定或排除特定显卡。

显存不参与请求。太初加速卡在硬件上把核心与显存切分开,每个核心自带一份显存,也不存在可申请的显存资源,HAMi 只按核心放置容器。详见注意事项与限制。

前置条件​

  • 每个 GPU 节点已安装太初元碁加速卡驱动与 SDAA 运行时。
  • 已部署发布节点设备注解中所述注解、并对外通告 tecorigin.com/gpucore 资源的太初元碁 device plugin。该插件由厂商提供和运维,HAMi chart 不会安装它。
  • 使用包含太初元碁后端的 HAMi 构建。该后端尚未进入 HAMi 正式发布版本,需要通过包含 pkg/device/tecorigin 的构建安装。

启用太初元碁设备支持​

请使用包含太初元碁后端的 HAMi 构建。目前任何已发布的 Chart 都不包含该后端:需从含有 pkg/device/tecorigin 的提交构建镜像,并用同一提交下的 charts/hami 打包安装,做法见准备 HAMi Chart,并在 chart 中保持太初元碁配置启用:

devices:
tecorigin:
enabled: true
resourceCountName: "tecorigin.com/gpucore"

如果集群中没有 NVIDIA GPU,可关闭 NVIDIA 插件,避免它等待节点:

devicePlugin:
enabled: false

验证节点​

device plugin 会通告节点核心总数并发布显卡列表,调度前请确认两者:

kubectl get node <node-name> -o jsonpath='{.status.allocatable.tecorigin\.com/gpucore}'
kubectl get node <node-name> -o yaml | grep hami.io/node-tecorigin-register

第一条命令输出节点上的核心数——8 张 4 核卡会输出 32;第二条输出每张卡的设备列表。只有资源、没有注解的节点不会被调度器注册,申请核心的 Pod 会一直处于 Pending。

节点设备注解​

注册注解采用 HAMi 的节点设备 CSV 格式,与海光、天数智芯发布的格式相同,因此插件无需自定义私有格式:

3CP100241200184,4,15296,15,Tecorigin,0,true,0,hami-core:

每张卡一个片段,每个片段以 : 结尾。每个片段必须包含全部九个字段:

字段含义插件侧要求
id显卡序列号即 teco-smi 输出的字符串。tecorigin.com/use-gpuuuid 匹配该值,HAMi 也会在分配注解中原样返回。
count本卡核心数必须为 1–4。非法的 count 会导致整个节点注解被拒绝;HAMi 根据该值生成核心掩码。
memory卡显存,单位 MiB调度逻辑不使用该字段。数值超过 1 TiB 会拒绝整个节点注解,用于防止误填入字节数。
devcore核心掩码HAMi 会用 count 推导的掩码覆盖该值。
type设备类型HAMi 统一记录为 Tecorigin;注解中的值不参与匹配。
numaNUMA 节点显卡不感知 NUMA 时填 0。
health显卡是否可用为 false 时该卡被剔除;所有卡都不健康的节点会退出调度器缓存。
index显卡物理位置必填。HAMi 用它打破评分并列,因此把所有卡 index 都写成 0 的 7 字段格式会被拒绝。
mode运行模式为空时记为 hami-core。

插件还可以发布 hami.io/node-tecorigin-cores,即显卡序列号到该卡全局核心编号的映射:

{"3CP100241200184":[0,1,2,3],"3CP100241200185":[4,5,6,7]}

HAMi 仅将该核心映射配置拷贝至调度器缓存用于问题排查,调度逻辑并不会读取该配置。HAMi 在每次健康检查时对比相关注解,修改注解后无需重启调度器即可重新加载显卡列表。

hami.io/node-handshake-tecorigin 属于旧版握手流程,HAMi 仅负责清理该注解,设备插件无需写入它。

分配注解​

Pod 调度完成后,HAMi 把选中的设备写入 hami.io/tecorigin-devices-to-allocate(待分配列表,供 device plugin 消费)和 hami.io/tecorigin-devices-allocated(HAMi 自身记录)。每个容器的条目格式为:

<显卡序列号>,<类型>,<显存 MiB>,<核心掩码>

显存 MiB 始终为0。

核心掩码 是该卡上分配核的十进制位掩码:4核卡分配全部4核时值为 15(0b1111)。单核分配的掩码取决于选中的本地核序号:核0 → 1,核1 → 2,核2 → 4,核3 → 8。插件会把掩码展开为全局核编号并设置 TECO_VISIBLE_DEVICES。由于掩码是卡本地的,只能依靠可选的核ID映射表手动反向追溯核编号归属哪张卡。

运行太初元碁任务​

通过 tecorigin.com/gpucore 申请核心:

apiVersion: v1
kind: Pod
metadata:
name: teco-pod
spec:
restartPolicy: OnFailure
containers:
- name: teco-pod
image: ubuntu:22.04
command: ["sleep"]
args: ["infinity"]
resources:
limits:
# 核心数:1 表示占用太初元碁卡的一个核心。
tecorigin.com/gpucore: 1

下一步:

注意事项与限制​

  1. 显存隔离是物理隔离。 核心与显存在卡上就被切分开,容器能访问的显存就是所分配核心对应的那一份。HAMi 只负责分配核心,硬件保证容器停在自己的那一份里:没有分配到的核心,其显存容器也访问不到。

  2. 算力隔离是物理隔离。 分配给容器的每个核心都由该容器独占,不与其他容器分时复用,因此不存在需要限流的执行速率。同卡上的两个容器运行在互不重叠的核心上,不会争抢同一个核心,但仍会共享整卡的显存带宽。

  3. 只要一张卡能容纳,请求就不会被拆分。 仅当请求超过最大单卡核心数时才会跨卡拆分。若某节点上必须超出物理最少卡数才能满足请求,该节点会被跳过,并在分配原因中记为 CardInsufficientCore。

  4. 核心数必须是整数。 小数或负数的 tecorigin.com/gpucore 会被判定为非法设备请求;显式写 0 表示不申请设备。同时设置 limits 与 requests 时以 limits 为准。

  5. 显存不是独立资源。 太初加速卡在硬件上对核心与显存做了物理切分,每个核心独占一份显存,申请 N 个核心即同时获得这 N 个核心对应的显存。因此不存在 tecorigin.com/gpumem 或按百分比的显存资源,设置它们会导致 Pod 处于 Pending 状态。HAMi 只分配核心,不单独切分显存。

CNCFHAMi 是 CNCF 孵化项目