新加坡一家领先运营商已在其 AI 算力数据中心部署 Hermesys HydraX™ 800G、400G 与 100G 光模块,这是该运营商首次在核心数据中心项目中使用第三方兼容光模块。部署前,我们的 800G OSFP 模块在 NVIDIA InfiniBand 设备上完成了全面的兼容性与压力测试。本文介绍测试方法与结果。
项目背景:为新加坡某 AI 数据中心提供光模块
AI 训练集群在 GPU 服务器之间传输海量数据,因此网络中的每条链路都需要高带宽、低误码率与长期稳定性。该运营商的 AI 算力数据中心需要 800G、400G 与 100G 光模块,且必须与集群已选定的 NVIDIA 交换机和网卡配合使用。
原厂光模块在 AI 集群成本中占比很大,且交货期可能较长。第三方兼容光模块是一种实用的替代方案,但前提是已证明其在目标硬件上的表现与原厂部件完全一致。正因如此,该运营商在批准前要求在 NVIDIA 设备上进行结构化测试 HydraX™ 光模块 的核心项目。
图 1. HydraX™ 800G OSFP 光模块平顶与鳍片顶版本
被测模块:800G OSFP 2xSR4
被测模块是一款按 NVIDIA 规范为 InfiniBand 与以太网打造的双端口 800Gb/s OSFP 光模块。它是可热插拔的多模模块,采用 100G PAM4 信号与 VCSEL 激光器,支持最远 100 米的 800G 互联。本次测试中,它通过 50 米链路与网卡侧的 400G OSFP SR4 模块配对。
| 项目 | 交换机侧 | 适配器侧 |
|---|---|---|
| 测试设备 | NVIDIA QM9700 交换机 | NVIDIA MCX75310AAS-NEAT 网卡(ConnectX-7) |
| 模块型号 | OSFP-800G-2xSR4H | OSFP-400G-SR4H |
| 模块类型 | OSFP (800G 2xSR4) | IB NDR, 400G-SR4 |
| 波长 | 不适用 | 854 nm |
| 测试链路距离 | 50 m | 50 m |
| 端口与链路速率 | IB1/17/1, NDR 400 Gbps | mlx5_0, 400 Gbps |
我们如何在 NVIDIA 设备上测试兼容性
测试方案涵盖三个方面:硬件兼容性、软件兼容性与性能。每项都有明确的合格标准,因此可按运营商评估原厂光模块的同一标准核对结果。
图 2. 测试装置的物理连接
| 类别 | 测试 | 合格标准 |
|---|---|---|
| 硬件 | 插拔 | 插拔超过五次后,模块在交换机与网卡端口中仍安装牢固,无松动或卡滞。 |
| 硬件 | 端口重启 | 通过命令重启交换机或网卡后,链路在 3 分钟内恢复。 |
| 硬件 | 断电重启 | 断电重启后,链路在 5 分钟内恢复。 |
| 软件 | 连接件产品 | 模块与两端设备建链成功,端口状态显示 "up"。 |
| 软件 | 停机 / 不停机 | 手动关闭并重新开启端口后,链路正常重连。 |
| 软件 | 参数检查 | 设备读取的料号、版本与序列号与模块标签一致。 |
| 性能 | DDM 监控 | 五项数字诊断监控(DDM)参数均未超出阈值。 |
| 性能 | 误码率 | 在前向纠错(FEC)前后实时测量误码率。 |
| 性能 | 稳定性 | 连续传输 7 天,无链路中断、无降速。 |
测试结果
硬件兼容性
模块在交换机端口与网卡端口各插拔五次,每次都安装牢固、无松动,并可通过模块拉环顺畅拔出。
| 检查 | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| 插入交换机端口 | 通过 | 通过 | 通过 | 通过 | 通过 |
| 交换机端口稳定性 | 通过 | 通过 | 通过 | 通过 | 通过 |
| 从交换机拔出 | 通过 | 通过 | 通过 | 通过 | 通过 |
| 插入适配器端口 | 通过 | 通过 | 通过 | 通过 | 通过 |
| 适配器端口稳定性 | 通过 | 通过 | 通过 | 通过 | 通过 |
| 从适配器拔出 | 通过 | 通过 | 通过 | 通过 | 通过 |
对交换机与网卡进行热重启、冷重启以及整个系统重启后,链路均在 1 分钟内恢复,远优于 3 分钟和 5 分钟的标准。
软件兼容性
模块与 NVIDIA QM9700 交换机及 MCX75310AAS-NEAT 网卡均正常建链,两台设备的端口指示灯持续绿色常亮,两个端口均显示 400 Gbps 链路已激活。
| 项目 | NVIDIA QM9700 | NVIDIA MCX75310AAS-NEAT |
|---|---|---|
| 端口号 | IB1/17/1, IB1/17/2 | mlx5_0 |
| 端口状态 | 活动 | 活动 |
| 端口链路速率 | NDR 400 Gbps | 400 Gbps |
在端口关闭/重新开启测试中,交换机与网卡端口禁用后再启用,链路在 1 分钟内恢复。两台设备读取的型号、序列号等信息与产品标签一致,传输距离、波长与模块类型也与规格书相符。
性能
DDM. 两台设备各读取三次,均未触发 DDM 告警,所有数值正常,各次测试间波动小于 10%。
| DDM 参数 | NVIDIA QM9700 | NVIDIA MCX75310AAS-NEAT |
|---|---|---|
| DDM 告警 | 无告警 | 无告警 |
| 温度 | 正常 | 正常 |
| 电压 | 正常 | 正常 |
| 偏置电流 | 正常 | 正常 |
| Tx 发射光功率 | 正常 | 正常 |
| Rx 接收光功率 | 正常 | 正常 |
误码率。 两台设备的 FEC 前误码率均低于 1E-5。FEC 后未测得误码,端口也未检测到错误包。
| 项目 | NVIDIA QM9700 | NVIDIA MCX75310AAS-NEAT |
|---|---|---|
| 端口号 | IB1/17/1 | mlx5_0 |
| FEC 前误码率 | 5E-9 | 1E-7 |
| FEC 后误码率 | 无误码 | 无误码 |
稳定性。 模块在交换机与网卡上均满速运行 7 天 12 小时 43 分钟,无链路中断、无降速。
结果一览
| 测试 | 判定标准 | 结果 |
|---|---|---|
| 插拔 | 5 次以上循环,无松动或卡滞 | 通过(5/5) |
| 端口重启 | 3 分钟内链路恢复 | 通过(< 1 分钟) |
| 断电重启 | 5 分钟内链路恢复 | 通过(< 1 分钟) |
| 连接件产品 | 两端端口状态均为 "up" | 通过(400 Gbps) |
| 停机 / 不停机 | 链路正常重连 | 通过(< 1 分钟) |
| 参数检查 | 信息与标签一致 | 通过 |
| DDM 监控 | 无参数超出阈值 | 通过(波动 < 10%) |
| 误码率 | FEC 后无误码 | 通过 |
| 稳定性 | 连续 7 天无中断 | 通过(7 天 12 小时 43 分钟) |
HydraX™ 800G OSFP 模块在 NVIDIA 设备上通过了全部硬件兼容性、软件兼容性与性能测试,证明与该运营商的 AI 网络完全兼容。
已在新加坡某 AI 数据中心投产
测试完成后,Hermesys HydraX™ 800G、400G 与 100G 光模块被供应至该运营商的 AI 算力数据中心,并通过了全部现场压力测试,目前已与包括 NVIDIA SN5600 交换机在内的最新 NVIDIA 网络设备一起投入生产使用。
图 3. Hermesys 800G OSFP 光模块在新加坡某领先数据中心配合 NVIDIA SN5600 交换机运行
图 4. 部署于新加坡本地数据中心的 HydraX™ 高速光模块
对运营商而言,这个项目证明经过充分测试的兼容光模块能够满足核心 AI 数据中心的可靠性标准。Hermesys 将持续投入测试与产品开发,让客户能够放心扩展 AI 基础设施。
常见问题解答
第三方 800G OSFP 光模块与 NVIDIA 交换机兼容吗?
可以,前提是按 NVIDIA 规范制造并在目标硬件上测试。本文中的 HydraX™ 800G OSFP 模块已在 NVIDIA QM9700 交换机与 ConnectX-7 网卡上通过硬件、软件与性能测试。
800G OSFP 2xSR4 与 SR8 有什么区别?
两者都通过八条 100G PAM4 通道在多模光纤上传输 800G。2xSR4 模块将八条通道呈现为两个独立的 400G 端口,因此一个交换机端口可连接两块 400G 网卡,这就是 NVIDIA InfiniBand NDR 网络采用的双端口设计。
光模块部署前应做多长时间的压力测试?
对于核心数据中心链路,连续多日满速运行是合理的基准。本项目的合格标准为 7 天无中断,模块连续运行 7 天 12 小时 43 分钟,未发生一次链路中断。
需要为您的 AI 数据中心采购经过测试的光模块?
Hermesys 提供 HydraX™ 800G、400G 与 100G 光模块,均已与主流交换机及网卡完成兼容性测试,并配套提供高速线缆与光纤布线。
联系我们的团队 查看 800G OSFP 光模块