本文由 阿里云国际站代理商『翼龙云/TG @Yilongcloud 撰写』如需转载请注明！
重要前置提示：阿里云国际灵骏超节点在新加坡等海外地域为白名单邀约模式，仅支持包年包月，不支持按需计费；高端 GPU 硬件库存动态波动，大规模集群部署前需要确认地域可用区货源、账号 GPU 配额，提交工单完成配额与白名单审批。
一、核心架构设计：超节点集群选型与拓扑
MoE 模型分布式训练的性能瓶颈往往不在单卡算力，而在跨节点 All to All 专家通信。架构设计核心目标是构建高带宽、低延迟的通信闭环。
1. 计算层：GPU 超节点选型
万亿参数 MoE 模型依赖大规模多机多卡协同。在阿里云国际弹性 GPU 服务 EGS 中，超节点集群对单机内部 NVLink 互联带宽、跨节点 eRDMA 能力有硬性要求。 由于 2026 年 GPU 实例规格、互联带宽、海外各区域库存持续动态变化，方案规划阶段需要在控制台核验实例能力矩阵，确认机型支持 eRDMA，满足张量并行 TP 对节点内高速互联的硬性需求。
2. 网络层：高性能 VPC 规划
MoE 架构的专家并行 EP 会产生大量 All to All 通信，普通 TCP VPC 网络会形成严重性能瓶颈。阿里云国际通过eRDMA 弹性 RDMA提供内核旁路高速通信能力，替代传统 RoCEv2 硬件方案。 约束条件：
- eRDMA 仅支持 ACK Pro 集群，普通 ACK 集群不具备该能力；需要部署 eRDMA Controller 组件；仅特定 GPU 机型支持 eRDMA，必须使用 Alibaba Cloud Linux3 操作系统镜像；不支持 IPv6 网络。
- GPU 集群使用独立 VPC 与独立交换机网段，和业务网络做隔离；全部训练节点必须部署在同一个可用区 AZ 内，跨可用区会直接导致 eRDMA 性能断崖式下跌，严禁跨 AZ 执行 EP 专家并行训练。
- 巨型帧、网卡队列深度、ECN 拥塞控制参数需要结合官方文档调优，并非简单开启即可生效。
3. MoE 模型并行策略与网络需求
| 并行策略 | 核心通信模式 | 网络带宽需求 | 延迟敏感度 | 阿里云基础设施映射层级 |
| 数据并行 (DP) | All Reduce | 中 | 中 | 跨节点 VPC 基础网络 /eRDMA |
| 张量并行 (TP) | All Reduce | 极高 | 极高 | 节点内 GPU NVLink 高速互联 |
| 专家并行 (EP) | All to All | 高 | 高 | 跨节点 eRDMA 高性能 VPC 网络 |
| 流水线并行 (PP) | Point to Point | 低 | 中 | 跨节点 VPC 基础网络 |
工程提示：EP 专家并行的通信开销会随专家数量、序列长度、batch size 快速放大；EP 规模越大，对 eRDMA 网络压力越高，需要合理控制 EP 分组规模，避免网络成为整体训练瓶颈。
二、工程落地实践：ACK Pro 调度与存储优化
1. 调度方案：ACK Pro 容器化管理
使用阿里云国际 ACK Pro 容器服务统一纳管大规模 GPU 实例。
关键说明：原生 GPU Device Plugin 仅负责 GPU 硬件分配；拓扑感知调度能力依赖 ACK 云原生 AI 套件扩展组件，需要手动安装部署，实现识别 NVLink/eRDMA 硬件拓扑，优先将通信密集的 Pod 调度至同一个物理超节点内部；仅基础 Device Plugin 无法自动感知硬件互联拓扑Alibaba Cl…。
配套工程要点：
- 对 GPU 节点设置节点标签、污点与容忍度，做调度约束；
- 长周期 MoE 训练不要直接使用 Deployment，建议搭配 Volcano/Arena 批调度框架，支持任务断点续训；
- ACK 弹性伸缩组可以实现整机节点故障重建，但不会自动恢复训练任务，业务必须依赖 Checkpoint 快照手动恢复作业。
- eRDMA 场景需要调整 Pod 的 ulimit 锁内存、最大文件句柄等系统参数；部分机型可使用官方预置 NCCL 拓扑环境变量，规避 NCCL 拓扑探测异常问题。
2. Checkpoint 分层存储策略
万亿参数 MoE 模型单份 Checkpoint 可达数 TB 级别，需要分层存储，同时规避本地盘数据丢失风险：
- 热读写层：GPU 实例本地 NVMe 高速盘，承担训练过程高频读写。⚠️风险提醒：NVMe 本地盘属于实例临时存储，实例重启 / 销毁数据会全部丢失，不可作为唯一持久化介质。
- 可靠中间层：并行文件系统 / NAS，作为 Checkpoint 可靠落地层，训练阶段性快照优先写入该层。
- 冷归档层：训练阶段性完成，异步脚本将历史快照归档至阿里云国际 OSS 对象存储，实现低成本长期保存。
不建议训练作业直接读写 OSS 对象存储做 Checkpoint 写入，TB 级大文件随机读写吞吐会制约训练效率。
三、海外节点部署建议与边界
区域与可用区取舍
以新加坡节点作为亚太枢纽，网络覆盖东南亚、澳洲。
- 追求 MoE EP 专家并行通信效率：全部算力集中部署在同一个可用区 AZ；代价是该可用区故障会造成整个训练集群全部中断；
- 风险补偿策略：采用单 AZ 部署换取通信性能，配合高频 Checkpoint 快照，用于故障后任务恢复；不要为了容灾把训练节点打散至多个可用区，跨 AZ 会直接摧毁 All to All 通信性能。
- 合规约束：严格遵循当地数据驻留规则，训练数据集、权重 Checkpoint 存放地域必须和计算集群地域匹配，避免敏感数据跨境传输违规。
资源配额与前置准备
万亿参数 MoE 集群对 GPU 卡数量要求极高，阿里云国际账号默认 GPU 配额较低；灵骏超节点还需要额外厂商白名单邀约。翼龙云@Yilongcloud 作为阿里云国际版核心代理，可在售前选型（区域规划、规格匹配）、开户注册、配额工单、白名单材料梳理阶段提供协助，帮助团队梳理不同主体下准备事项。
四、常见问题 (FAQ)
Q1：阿里云国际版云服务器区域和节点怎么选，香港、新加坡、美国等地区有哪些取舍？
区域选择由用户分布、时延、数据存放合规要求、产品可用性、成本、容灾目标共同决定。需要从业务主要用户所在地做真实网络延迟测试；确认目标 GPU 实例、灵骏超节点白名单、eRDMA 能力在目标地域可用；评估跨境数据传输合规审计要求；对比实例、带宽、跨区域传输费用；具体可用性、库存与价格以控制台当期信息为准。
Q2：阿里云国际版对象存储与云硬盘有什么区别，费用和场景怎么比较？
对象存储适合海量文件、备份归档、静态资源，通过 HTTP/API 访问；云硬盘作为块设备挂载实例，适合操作系统、数据库、低时延随机 IO；大规模 MoE 训练 Checkpoint 不建议直接把 OSS 作为主读写介质。综合评估容量、请求次数、出网流量、跨区传输费用，根据业务恢复时效做吞吐性能测试。
Q3：在海外节点部署万亿参数 MoE 模型，如何设计 VPC 网络以降低通信延迟？
全部训练实例部署在同一个地域同一个可用区；独立专属 VPC 与交换机，和普通业务网络隔离；选择支持 eRDMA 的 GPU 机型，使用 ACK Pro 集群；控制台开启 eRDMA 弹性网卡；配合官方文档调优巨型帧、ECN 拥塞控制、网卡队列参数；严禁跨可用区运行专家并行 EP 任务。
Q4：阿里云国际 ACK 容器服务如何调度大规模 GPU 超节点集群？
需要使用 ACK Pro 集群，安装云原生 AI 套件调度扩展组件，才能启用 GPU 拓扑感知调度；原生 GPU Device Plugin 仅做硬件分配。管理员给 GPU 节点打上标签、设置污点容忍；针对 MoE EP 任务，调度组件识别 NVLink/eRDMA 硬件拓扑，优先将高通信 Pod 调度至同一物理超节点。长周期训练搭配 Arena/Volcano 批调度框架，实现 Checkpoint 断点续训。
Q5：普通 ACK 集群是否可以直接跑大规模 MoE 专家并行 EP 训练？
不可以。大规模 EP 依赖 eRDMA 高速网络，仅 ACK Pro 支持 eRDMA 组件；同时拓扑感知调度需要额外安装 AI 调度套件；普通 ACK 集群缺少上述能力，只能小规模测试，不适合万亿参数 MoE 生产训练。
