高速互联背景下的 PCIe® 布线创新

全文概览

随着数据中心和企业级应用对更高带宽和更低延迟的需求日益增长，传统的铜线互连方案正面临严峻的挑战。信号衰减、电磁干扰和带宽限制等问题日益突出，促使业界积极探索新的互连技术。PCIe cabling，作为一种新兴的解决方案，通过采用铜缆或光纤等介质，旨在克服传统方案的局限性，为高速数据传输提供更可靠、更灵活的途径。

本文将详细介绍PCIe cabling的发展历程、技术特点以及在各种应用场景中的优势。从PCIe技术的演进到铜缆布线的挑战，再到光纤互连的未来趋势，我们将全面剖析PCIe cabling在推动AI、HPC和存储领域创新中的关键作用。通过本文的阅读，您将了解到PCIe cabling如何突破传统互连的瓶颈，为构建更高效、更强大的计算和存储系统提供新的可能性。

阅读收获

• 了解PCIe技术的发展历程及其在AI、HPC和存储领域的应用。
• 掌握铜缆布线在高频传输下面临的挑战，以及CopprLink线缆规范的关键特性。
• 理解PCIe布线在分解式架构、共享内存应用和低延迟计算Fabric中的作用。

PCIe Cabling 的背景知识

早期的以及目前广泛使用的PCIe布线主要是基于铜线的。铜线在短距离内具有成本效益高、易于部署等优点，因此成为PCIe技术早期的主要选择。

基于铜线的PCIe布线随着数据传输速率的不断提高，面临着一些发展限制，主要包括：

• 信号衰减： 随着传输速率的增加，信号在铜线中的衰减会更加明显，尤其是在较长的距离上，这限制了铜线布线的有效距离。
• 电磁干扰（EMI）： 高速信号容易产生电磁干扰，对周围的电子设备产生影响，同时也容易受到外部电磁干扰的影响，需要采取更复杂的屏蔽措施。
• 带宽限制： 尽管铜线技术不断进步，但其带宽潜力终究有限，难以满足未来更高数据传输速率的需求。
• 功耗： 在高速传输时，铜线中的信号损耗会转化为热能，导致功耗增加。

PCIe 高频总线技术发展

PCIe 技术的发展历程

图片概述了PCIe技术的发展历程和关键特性。它强调了PCIe技术持续领先于行业需求，并且以大约每三年发布一个新规范的速度发展。每个新版本都实现了带宽的翻倍，同时保持低延迟、高可靠性和高能效。此外，PCIe还保持了与前几代产品的向后兼容性，并注重数据完整性和安全性。

图片中的表格详细列出了从PCIe 1.0到最新的PCIe 7.0的各个版本，包括它们的发布年份、最大数据速率、编码方式、信令方式以及奈奎斯特频率。可以看出，随着版本的迭代，PCIe的最大数据速率呈指数级增长，并且在PCIe 6.0和7.0中引入了Flit模式和PAM4信令，以进一步提高数据传输效率。

(Flit 模式在具有各自编码的其他数据速率下也启用)

图注：PCIe 宽裕的带宽组合范围

丰富的通道数组合策略

图片提供了一个关于不同PCIe版本及其不同通道配置（x1, x2, x4, x8, x16）所能提供的理论最大带宽的概览。它展示了从PCIe 1.x到最新的PCIe 7.x，随着规范的更新，每个通道的传输速率以及总带宽是如何提升的。

表格清晰地列出了每个PCIe版本对应的每通道传输速率（以GT/s为单位），以及在不同通道数下可以实现的总带宽（以GB/s为单位）。例如，PCIe 4.x在x1配置下可以提供4 GB/s的带宽，而在x16配置下可以提供高达64 GB/s的带宽。最新的PCIe 7.x在x16配置下更是可以达到惊人的512 GB/s的带宽。

图片还强调了PCIe的灵活性，可以根据不同的应用场景（从手持设备到高性能计算）选择合适的带宽。同时，它也提醒用户，表格中列出的是理论最大总带宽，实际应用中可能会受到编码开销和报头效率等因素的影响。

图注：PCIe 丰富的互联应用场景

图片展示了PCIe架构的广泛应用领域。标题“一种互连 – 无限机遇”强调了PCIe技术的通用性和适应性。图片通过一系列图标展示了PCIe技术在各种关键行业和应用中的重要性，包括：

• 高性能计算（HPC）/云计算： 用于加速计算和数据传输。
• 数据中心/企业服务器： 作为服务器内部组件和外部设备之间高速互连的关键。
• 人工智能/机器学习： 提供高性能的数据传输，支持AI和ML工作负载。
• 汽车： 在现代汽车电子系统中扮演重要角色，例如连接传感器、处理器等。
• 物联网（IoT）： 支持各种物联网设备的高速数据通信。
• 军事/航空航天： 在需要高可靠性和高性能的数据传输的应用中发挥作用。
• 存储： 用于连接高速存储设备，提高数据访问速度。

铜缆布线的技术发展历程

铜基PCB线路板在高频传输下面临的挑战

图表展示了在不同频率下，不同PCB材料的信号损耗情况。

图表对比了超低损耗、高成本和低成本三种PCB材料在0到40 GHz频率范围内的信号衰减。结果显示，随着频率的升高，所有材料的信号损耗都会增加，尤其是在高频率（如16 GHz和32 GHz）时，损耗更为显著。

损耗 1-2 dB 单位，对应信号质量会产生怎样的影响？

1-2 dB 的信号损耗会对信号质量产生明显的影响，具体影响程度取决于具体的应用场景、信号类型以及系统的容错能力。下面我将详细解释这种损耗对信号质量的潜在影响：

dB 值与信号功率和幅度（电压）的关系：

• 功率损耗： 损耗 X dB 意味着信号功率降低到原来的 10^(-X/10) 倍。
  • 1 dB 损耗：功率降至原来的 10^(-1/10) ≈ 0.794 倍，即损失约 20.6% 的功率。
  • 2 dB 损耗：功率降至原来的 10^(-2/10) ≈ 0.631 倍，即损失约 36.9% 的功率。
• 幅度（电压）损耗： 损耗 X dB 意味着信号幅度降低到原来的 10^(-X/20) 倍。
  • 1 dB 损耗：幅度降至原来的 10^(-1/20) ≈ 0.891 倍，即损失约 10.9% 的幅度。
  • 2 dB 损耗：幅度降至原来的 10^(-2/20) ≈ 0.794 倍，即损失约 20.6% 的幅度。

对信号质量的影响：

1. 降低信噪比 (SNR)： 信号损耗直接降低了接收端接收到的信号强度。在噪声水平不变的情况下，信号强度降低会导致信噪比下降。信噪比是衡量信号质量的重要指标，较低的信噪比会增加接收端误判信号的可能性。
2. 增加误码率 (BER)： 在数字通信系统中，较低的信噪比会直接导致误码率的增加。接收端可能无法正确区分高电平和低电平，从而产生数据错误。对于对数据完整性要求高的应用（如 PCIe 数据传输），误码率的增加是不可接受的。
3. 影响传输距离和可靠性： 信号在传输过程中会不断衰减。如果初始信号强度不足或者传输路径上的损耗较大（例如 PCB 走线过长或材料损耗过大），额外的 1-2 dB 损耗可能会使接收端接收到的信号强度低于其灵敏度阈值，导致通信失败或不稳定。
4. 限制系统性能： 对于高速串行接口（如 PCIe），信号的幅度和时序裕量非常关键。信号损耗会减小信号的幅度裕量，使其更容易受到噪声和干扰的影响。此外，信号的上升沿和下降沿可能会变得更加缓慢，影响时序裕量，从而限制了系统的最高工作频率或有效传输速率。

PCIe 工作小组分工

图片展示了 PCI-SIG® 在制定不同类型的布线规范方面所做的努力。它表明 PCI-SIG® 通过不同的工作组来推进各种布线技术的发展。

• OCuLink 工作组专注于 OCuLink 规范，但该工作组已于 2021 年关闭。
• 布线工作组负责制定 PCI Express® 的外部布线规范。
• 电气工作组专注于基于铜线的 CopprLink 技术的内部和外部规范。这表明 CopprLink 是 PCI-SIG® 在铜线布线方面的重要成果。
• 光纤工作组目前正在进行中

布线工作组成果时间线

图片展示了一个时间轴，记录了 PCI-SIG® 在布线方面的重要里程碑：

• 2003年： 布线工作组启动 (Cabling Workgroup Kickoff)
• 2007年： 发布 PCI Express 外部线缆 1.0 版 (PCI Express External Cable 1.0 Publication)
• 2011年： 发布 2.0 版 (2.0 Publication)
• 2015年： 发布 OCuLink 初始版本 (OCuLink Initial Publication)
• 2019年： 发布 3.0 版 (3.0 Publication) 和 OCuLink 1.0a 版本 (OCuLink 1.0a Publication)
• 2024年： 发布 5.0 版 (5.0 Publication) 和 CopprLink™ 版本 (CopprLink™ Publication(s))

图片下方还有三条说明：

• 布线工作一直是 PCI-SIG 的一部分，已有 20 多年。
• 在过去的五年里，随着 CopprLink™ 的努力，人们对布线的兴趣重新燃起。
• 布线解决方案必须与平台和外形尺寸的架构保持一致。

PCI Express® 的外部布线规范

图片介绍了 PCI Express® 的外部布线规范。该规范旨在定义用于连接系统外部设备的 PCIe 连接方案。

关键要点包括：

• 支持的 PCIe 版本： 该规范涵盖了从 PCIe 1.0 到 PCIe 5.0 的技术，能够支持高达 32.0 GT/s 的数据传输速率。
• 连接器类型： 对于 PCIe 3.0 及更高版本，该规范采用了 SNIA SFF-8614 连接器外形尺寸。图片中展示了这种连接器的外观。
• 最大长度限制： 在单个系统内部，外部线缆的最大长度被限制在 2 米以内。
• 典型应用场景： 该规范主要用于连接主板和扩展卡、不同的扩展卡之间，以及连接主机总线适配器 (HBA) 等设备。
• 目标应用领域： 主要应用于传统的存储系统，作为 SAS/SATA 连接方案的替代选择，提供更高的带宽和性能。

表格总结了 PCI-SIG® 的各项布线倡议，列出了不同布线规范的名称、发布日期、支持的 PCIe 规范、目标传输速度、适用范围（内部或外部）、连接器外形尺寸、最大长度以及目标应用。

从中可以看出：

• OCuLink 是较早的规范，支持 PCIe 3.0，主要应用于存储和数据中心。
• CopprLink™ 分为内部和外部线缆规范，支持最新的 PCIe 5.0 和 6.0 规范，内部线缆主要用于存储和数据中心，外部线缆则面向 AI 和 ML 应用。
• PCI Express® 外部布线 支持 PCIe 5.0，目标应用是传统存储。
• 光纤布线 方面的工作组于 2023 年 8 月成立，目前规范仍在制定中，但其目标应用是面向未来的高性能计算领域，如云计算、量子计算和超大规模数据中心。

图片介绍了 PCI Express® 5.0/6.0 CopprLink 线缆规范背后的动机以及其典型的内部和外部应用场景。

动机方面： 随着带宽需求的不断提高，尤其是在 32.0 和 64.0 GT/s 的高速传输下，PCB 走线的信号损耗成为限制通道长度和平台灵活性的主要因素。因此，新的线缆规范旨在通过提供更长的连接距离和更大的设计灵活性来满足高带宽应用的需求。除了低损耗之外，最小化信号反射、串扰和时序偏移也是设计高性能线缆解决方案的关键考虑因素。线缆的引入为系统设计人员提供了额外的自由度，并有助于推动技术创新。

内部线缆用途方面： CopprLink 内部线缆主要用于连接同一系统内部的不同组件，例如主板与扩展卡之间、处理器或芯片之间、主板与背板之间以及扩展卡与背板之间。

外部线缆用途方面： CopprLink 外部线缆则用于连接不同设备或系统，例如同一机架内的不同板卡之间，以及不同机架之间的互连。

如何理解 PCI Express® 5.0/6.0 CopprLink 线缆规范的布线意义

线缆解决方案在更早的 PCIe 版本中就已经存在，只是在 PCIe 5.0/6.0 时代，由于更高的数据传输速率带来的挑战，线缆的重要性更加凸显。

以下是一些需要考虑的关键点：

1. 早期 PCIe 版本和 PCB 布线： 对于 PCIe 1.0、2.0 甚至 3.0 来说，PCB 上的高质量布线在相对较短的距离内通常可以满足信号完整性的要求。主板上的 CPU、芯片组、内存插槽、以及连接到主板上的扩展卡（如显卡、网卡等）之间的互连，大部分都是通过 PCB 上的走线实现的。
2. PCIe 外部线缆规范的出现： PCI-SIG 早在 2007 年就发布了 PCI Express 外部线缆 1.0 版，并且 OCuLink 规范（支持 PCIe 3.0）也在 2015 年发布。这些都表明，在 PCIe 5.0/6.0 之前，就已经存在用于连接系统外部或内部不同组件的线缆解决方案。这些线缆通常用于扩展性、灵活性或需要更长连接距离的场景，例如连接外部存储设备、扩展坞等。
3. 高带宽带来的挑战： 随着 PCIe 速度的不断提升（尤其是到了 32.0 GT/s (PCIe 5.0) 和 64.0 GT/s (PCIe 6.0)），PCB 走线在高频率下的信号衰减变得更加严重 。这限制了 PCB 上走线的有效长度，并对平台设计造成了限制。
4. CopprLink 的出现： CopprLink 线缆规范的推出，正是为了解决在高带宽下 PCB 布线所面临的这些挑战 。它为系统设计人员提供了一种替代方案，可以使用铜缆在更长的距离上实现高速连接，同时保持良好的信号完整性。CopprLink 既可以用于系统内部（例如连接主板和扩展卡），也可以用于系统外部（例如连接不同的机箱）。

表格总结了 PCI Express® 5.0/6.0 CopprLink 线缆规范的关键特性，并区分了内部和外部线缆的规格。

可以看出：

• 数据速率： 内部和外部 CopprLink 线缆都支持 32.0 GT/s (PCIe 5.0) 和 64.0 GT/s (PCIe 6.0) 的数据传输速率。
• 外形尺寸： 内部线缆采用 SFF-TA-1016 连接器，而外部线缆采用 SFF-TA-1032 连接器。
• 最大长度： 内部线缆的最大长度为 1 米，外部线缆的最大长度为 2 米。
• 信令方式： 内部和外部线缆都支持 4 级脉冲幅度调制 (PAM4) 和不归零 (NRZ) 信令。
• 通道配置： 两种线缆都支持 x4、x8 和 x16 通道配置，以及线缆分支功能。
• 边带规范： 内部和外部线缆都有相应的边带规范。
• 目标应用： CopprLink 线缆主要应用于数据中心、服务器、存储系统、网络设备和加速器等领域。

===

PCIe 布线涉及的应用领域

图片旨在展示 PCIe® 布线在现代计算和存储领域所带来的广泛机遇。它通过维恩图的形式，将 PCIe® 布线与几种关键的应用场景和技术联系起来：

• 在存储领域， PCIe® 布线被视为传统 SAS/SATA 接口的更高速替代方案，尤其适用于 NVMe 固态硬盘，以充分发挥其高性能潜力。
• 在 CPU-GPU 应用中， PCIe® 布线支持分解式架构，这意味着 CPU 和 GPU 可以通过高速 PCIe 连接进行更灵活的部署和资源分配，这对于人工智能和机器学习等需要大量计算资源的领域至关重要。
• 对于共享内存应用， PCIe® 布线是 Compute Express Link (CXL) 技术的基础，CXL 3.0 允许 CPU 和其他设备共享内存，从而提高系统效率和资源利用率。
• 此外， PCIe® 布线还为构建低延迟的计算 Fabric 提供支持，这对于网络化加速器（例如在高性能计算集群中）至关重要。

延伸思考

这次分享的内容就到这里了，或许以下几个问题，能够启发你更多的思考，欢迎留言，说说你的想法~

• 在未来的数据中心和高性能计算环境中，PCIe cabling将如何与其他互连技术（如光纤、CXL等）协同发展？
• CopprLink线缆规范的进一步发展方向是什么？它将如何影响AI和机器学习等应用领域？

原文标题：PCIe® Cabling Solutions for Next Generation AI, HPC, and Storage Applications

Notice：Human's prompt, Datasets by Gemini-2.0-flash-thinking