超大规模数据中心推动新一代 400G 以太网互连

智能手机、多媒体应用、视频流和各种连接设备导致的数据流量呈指数增长，推动了高容量超大规模数据中心的建设，旨在快速扩展和响应此类动态工作负载。 

根据思科 2018 年全球云服务指数预测，到 2021 年，超大规模数据中心数量预计将增长到 628 个（截至 2016 年底为 338 个），占所有已安装数据中心服务器的 53%。该报告还指出，到 2021 年，超大规模数据中心内的流量将占所有数据中心总流量的 55%，所有工作负载的 94% 将由云数据中心处理，而传统数据中心仅占 6%。

随着超大规模数据中心向更快、更平顺和更具可扩展性的网络架构过渡（例如图 1 所示的 2 层脊叶架构），对高带宽和高效连接性的需求也在增加。 

脊叶架构需要大量的互连，因为每个叶节点交换机都会扇出所有脊节点交换机，从而最大限度提高服务器之间的连接性。数据中心的硬件加速器、人工智能和深度学习功能都消耗高带宽，迫使高端数据中心快速转变为以更高数据速率运行的新一代互连架构。因此，大多数使用 100 Gb/s 以太网链路的超大规模数据中心都需要转变为 200 Gb/s 和 400 Gb/s 以太网链路才能实现更高的吞吐量。

转变为 400 Gb/s 以太网之后有望节省功耗和面积，因为预计 400 Gb/s 光模块的功耗仅为 100 Gb/s 以太网链路的 2.5 倍，并能保持同样小的外形尺寸，从而提高了互连密度。

随着 200 Gb/s 和 400 Gb/s 的IEEE 802.3bs 规格（现在隶属 IEEE 802.3-2018 版本）和 50 Gb/s、100 Gb/s 和 200 Gb/s的 IEEE 802.3cd 规格完成，超大规模数据中心将在 2018 年底开始转变为 200/400 Gb/s 互连。根据最近公布的供应商演示以及组件和光学模块的预计供应量推测，这种转变在所难免。

如图 2 所示，大多数 100/200/400 Gb/s 以太网都是基于多通道 25 Gb/s 或 50 Gb/s 接口。新一代 100/200/400 Gb/s 以太网速率是基于 IEEE 802.3ck 工作小组定义的新的 100 Gb/s 串行规范确定的，支持 400 Gb/s 以上的以太网。

随着超大规模数据中心 100 Gb/s 以太网的成熟，注重成本的企业数据中心生态系统将开始利用当前的技术，并开始从目前的 10 Gb/s 和 40 Gb/s 链路转变为 100 Gb/s 和更高的速率。

网络工程师可以根据应用空间、长度要求、密度、外形尺寸、功耗和可用产品选择互连。本文介绍了基于单通道和多通道 50 Gb/s 以太网的 50 Gb/s、100 Gb/s、200 Gb/s 和 400 Gb/s 互连的不同变体，包括：

• 连接到支持多模光纤 (MMF) 的光学模块的电气芯片到芯片和芯片到模块可实现从几百米到更长的千米 (km) 级机架到机架互连长度，但在建筑物和小型数据中心之间的连接仅获得单模光纤 (SMF) 的支持。
• 屏蔽层平衡铜轴线缆，适用于几米 (m) 的短距离机柜到机柜连接和机架内部连接
• 基于机箱系统的电气背板用于底座内部互连

芯片到芯片和芯片到模块互连

芯片到芯片和芯片到模块 (C2M) 是最简单的互连形式，其中包括带有一个连接器或没有连接器的印刷电路板 (PCB) 短走线。芯片到芯片的电气接口位于同一 PCB 平面上的两个 IC 之间，而芯片到模块的接口位于端口 ASIC 和带有信号调节 IC 的模块设备（例如，放置在单独 PCB 平面上的重定时器）之间。

IEEE 802.3 已经基于每个通道 50 Gb/s 的电气架构为不同类型的光学模块定义了连接单元接口 (AUI)。根据不同的互连长度和吞吐量要求，网络实现者可以选择不同的芯片到模块接口来连接到光学模块。例如：

50GAUI-1 是单通道 C2M 接口，可连接：

• 50GBASE-SR：支持在单通道（总共两根光纤）的 MMF 电缆上进行 50 Gb/s 串行传输，最远可达 100 米
• 50GBASE-FR ：支持在单波长 SMF 电缆上进行 50 Gb/s 串行传输，最远可达 2 千米
• 50GBASE-LR：支持在单波长 SMF 电缆上进行 50 Gb/s 串行传输，最远可达 10 千米
  
  

100GAUI-2 是双通道 C2M 接口，可连接：

• 100GBASE-SR2：支持在两条通道通过（总共四根光纤）的 MMF 电缆上进行  100 Gb/s 传输 ，最远可达 100 米
• 100GBASE-DR：支持在单波长双工 SMF 电缆上进行 100 Gb/s 串行传输，最远可达 500 米
   

200GAUI-4 是四通道 C2M 接口，可连接： 

•  200GBASE-SR4：支持在四条通道（总共八根光纤）的 MMF 电缆上进行  200 Gb/s 传输 ，最远可达 100 米
• 200GBASE-DR4：支持在四条通道的 SMF 电缆上进行  200 Gb/s 传输 ，最远可达 500 米
• 200GBASE-FR4：支持在四条波分复用通道（WDM，总共两根光纤）的 MMF 电缆上进行  200 Gb/s 传输 ，最远可达
  2 千米
• 200GBASE-LR4：支持在 四条通道的 SMF 电缆上进行 200 Gb/s 传输，最远可达 10 千米
   

400GAUI-8 是八通道 C2M 接口，包括：

• 400GBASE-FR8：支持在 八条 WDM 通道的 SMF 电缆上进行 400 Gb/s 传输，最远可达 2 千米
• 400GBASE-LR8：支持在 八条通道的 SMF 电缆上进行 400 Gb/s 传输，最远可达 10 千米
• 400GBASE-DR4：支持在四条通道的 SMF 电缆上进行  400 Gb/s 传输 ，最远可达 500 米

以太网链路中使用多种光学模块。理想的情况是，较高速率的模块使用与前几代相同的外形尺寸，以实现向后兼容和方便采用。然而，以前最初投入市场的都是外形尺寸较大的模块。随着技术的成熟和外形尺寸的优化，较大的外形尺寸会被更小、更密集且更低成本的技术所取代。在 25 Gb/s 以太网链路以及 10 Gb/s 以太网链路的采用过程中可以发现这一点，最初的大型模块被更小的可插拔 (SFP+) 模块所取代。

模块的外形尺寸是由各种多源协议 (MSA) 定义的。支持 400 Gb/s 以太网链路的高密度可插拔光学收发器（图 4）是：
 

• QSFP-DD（四倍小型可插拔 - 双密度）每个通道支持 8 通道 50 Gb/s PAM-4，提供高达 400 Gb/s 以太网的解决方案
• OSFP（八倍小型可插拔）支持 8x50 Gb/s 以太网，用于 400 Gb/s 以太网 

屏蔽层平衡铜轴电缆

除了用于光缆连接的 C2C 和 C2M 端口接口外，IEEE 802.3 还定义了用于单通道或多通道双轴铜缆的 50 Gb/s、100 Gb/s 和 200 Gb/s 传输的电气架构：
 

• 50GBASE-CR：在 1 通道屏蔽层双轴铜缆上进行 50 Gb/s 传输，最远可达 3 米
• 100GBASE-CR2：在 2 通道屏蔽层双轴铜缆上进行 100 Gb/s 传输，最远可达 3 米
• 200GBASE-CR4：在 4 通道屏蔽层双轴铜缆上进行 200 Gb/s 传输，最远可达 3 米

这些较短的铜缆互连是实现机架内连接最经济实惠的布线解决方案。这种电缆用于服务器连接到上行链路交换机，上行链路交换机可以安装在机架顶部或中间，以尽量缩短互连长度。

电气背板接口

更复杂、更大的交换机和服务器是基于机箱构建的，需要在机柜内部进行互连。IEEE 802.3cd 定义了在背板上进行 50 Gb/s、100 Gb/s 和 200 Gb/s 传输的电气架构：

• 50GBASE-KR：在 1 通道背板信道进行 50 Gb/s 传输，在 13.218125 GHz 频率下总插入损耗小于 30 dB
• 100GBASE-KR2：在 2 通道背板信道进行 100 Gb/s 传输，在 13.218125 GHz 频率下总插入损耗小于 30 dB
• 200GBASE-KR4：在 4 通道背板信道进行 200 Gb/s 传输，在 13.218125 GHz 频率下总插入损耗小于 30 dB