指南
AI 数据中心互连地图:从芯片到集群
**定义:**AI 互连是在存储、加速器、主机、机架和数据中心之间传输模型数据的链路与协议集合。
说“AI 网络”时,先问距离。封装内连接、机架内 scale-up 和跨机架 scale-out 的技术约束完全不同,不宜用一个“总带宽”数字比较。
| 范围 | 常见技术 | 核心约束 |
|---|---|---|
| 加速器附近 | HBM、封装内互连 | 带宽密度、散热、良率 |
| 主机/设备 | PCIe、CXL | 一致性、兼容性、拓扑 |
| 加速器域 | NVLink 等专用链路 | 低延迟、集体通信效率 |
| 集群网络 | InfiniBand、Ethernet | 拥塞控制、交换容量、可靠性 |
训练任务常需要所有工作节点等待最慢通信阶段,因此尾延迟、丢包恢复和软件集体通信库与峰值带宽同样重要。推理则要看批次、模型分片与服务等级目标,不能直接照搬训练网络配置。
产业链跟踪不应只数光模块。还要看交换芯片、DSP/重定时器、连接器、光纤、网卡、网络操作系统和调度软件。当功率密度上升时,电力与冷却也会反过来限制可部署的网络规模,可结合《AI 1GW 数据中心经济账》阅读。
主题稿《AI 扩张下电力容量的价值考验》展示了从网络和芯片扩张到电力约束的传导。
FAQ
Ethernet 和 InfiniBand 谁一定更好?
没有脱离工作负载和实现的固定答案。性能取决于拓扑、拥塞控制、网卡、交换机和软件整合。
光模块速率翻倍,集群性能就翻倍吗?
不会自动翻倍。通信比例、拓扑、软件效率和计算利用率都会限制实际收益。