首页 > 其他分享 >属于PCIe 7.0的那道光来了~

属于PCIe 7.0的那道光来了~

时间:2024-06-22 20:57:36浏览次数:18  
标签:数据中心 道光 PCIe 7.0 SSD 浅析 光学

图片

随着数据洪流的持续涌动与计算密集型应用的爆发式增长,传统的电子互连技术在应对高带宽、低延迟、节能等多维度需求时日益显现其局限性。在这个背景下,光学互连技术以其独特的性能优势,逐渐成为业界瞩目的焦点,被视为未来数据中心互联技术的破局关键。

作为业界广泛采用的高速串行点对点互联标准,PCIe自诞生以来历经多次迭代升级,现已成为CPU、GPU、FPGA、SSD等计算设备间不可或缺的互连桥梁。PCIe 7.0标准更是将数据传输速率提升至令人惊叹的32 GB/s(每通道)。

图片

PCI-SIG在2022年6月的美国开发者大会(US DevCon)上宣布了PCI Express 7.0规范的持续进展。2023年6月发布版本0.3。最新进展,PCIe 7.0 ver0.5版本已经开放,同时宣布马不停蹄准备在2025年完成正式SPEC规范发布

图片

随着加速计算成为主流,PCIe连接在系统中的角色变得更加重要。直接的GPU-to-GPU通信对于跨多个图形处理器(GPU)或服务器、计算舱内的加速器扩展复杂计算任务至关重要。行业内部越来越认识到,在高性能计算领域中,对可扩展、开放式架构的需求日益增长。随着人工智能和数据密集型应用的不断发展,对这类技术的需求预计将会增加,使得PCIe 7.0成为下一代接口IP的关键组成部分

图片

在AI训练、大规模数据分析、实时渲染等应用中,数据传输速度和效率是决定系统性能的关键因素。PCIe 7.0提供的128 GT/s带宽相比前一代翻倍,这不仅意味着数据可以更快地在GPU之间流动,还支持更高效的资源分配和工作负载平衡。例如,在大规模机器学习模型训练场景中,多个GPU通过PCIe 7.0直接相连,能够大幅缩短训练时间和提高模型迭代速度,进而加快新算法和服务的开发与部署。

图片

此外,随着数据中心架构向更加分布式和灵活的方向发展,PCIe 7.0的高带宽和低延迟特性对于支持远程直接内存访问(RDMA)和高速数据传输尤为关键。这使得数据可以近乎实时地在不同的计算节点间移动,为构建高效、响应迅速的数据中心基础设施提供了可能。

PCIe 7.0不仅是数据传输速度的简单提升,它还是推动高性能计算架构向更加灵活、可扩展方向发展的关键技术。随着技术的不断成熟和应用的深化,PCIe 7.0有望成为加速计算新时代的基石,支撑起AI、大数据、云计算等多个领域的发展和创新

图片

尽管PCIe协议优化了延迟表现,但在大规模数据中心内部,距离延长与互连层级增加会导致延迟累积。随着数据速率提升,互连功耗问题日益突出,对整体能效与散热设计构成挑战。

在这样的环境下,数据中心内部以及不同数据中心之间的高速数据传输需求急剧增长。AI应用如深度学习、机器学习等需要处理海量数据,且对实时性和带宽有着极高的要求。传统的铜线介质的PCIe总线,在传输距离、带宽扩展以及信号完整性方面存在物理限制,难以满足大规模数据中心之间长距离、高带宽的数据传输需求

图片

因此,业界开始探索将PCIe协议应用于光学链路之上,即所谓的PCIe over Optics技术。这一技术通过将PCIe信号转换为光信号进行传输,利用光纤的大容量、低损耗和长距离传输特性,突破了传统铜线接口的距离与速度瓶颈。

PCI-SIG也已成立PCIe Optical Workgroup,致力于制定PCIe over Optical的标准,实现与现有PCIe生态的无缝对接。比如,Synopsys与OpenLight等光子技术厂商合作,开发支持光学解决方案。

图片

PCIe over Optics解决方案通常包括以下几个关键环节:

  1. 光电转换:首先,使用先进的光电转换器(Electro-optical transceivers),将服务器主板上的电信号转换为光信号,以确保数据能够在光纤上传输。

  2. 高性能控制器和PHY:设计专用的高性能PCIe控制器和物理层芯片(PHY),能够支持最新的PCIe标准,并优化其与光学接口的对接,保证数据在经过光传输后的完整性和准确性。

  3. 光学引擎:采用高效的光学引擎,如Nubis XT1600线性光学引擎,它能够提供多通道、全双工的数据传输能力,并保持较低的延迟和功耗。

  4. 长距离无损传输:由于光纤不受电磁干扰影响,可以实现千米级别的无损传输,大大拓展了服务器集群间的连接范围,使得数据中心内的设备可以更加灵活地分布在更大空间内,同时不影响数据通信性能。

  5. 模块化和标准化:尽管某些解决方案可能为定制化产品,但总体趋势是向模块化和标准化方向发展,确保不同厂商的产品可以相互兼容,便于数据中心运营商灵活选择并整合到现有或未来的数据中心架构中。

在上周举办的PCI-SIG DevCon 2024上,Cadence展示了一款专为下一代PCIe 7.0标准设计的光学连接解决方案,是行业内首个基于光学技术的PCIe 7.0演示,这一成就标志着数据传输速度和互连技术的重大飞跃。

图片

Cadence 为测试芯片构建了一个完整的子系统,这个系统包含八通道的PHY(物理层接口)以及一个完整的8通道控制器。在测试芯片中集成控制器的做法,对特性表征和压力测试的效率与精细度带来了显著提升。Cadence PCIe 7.0 PHY IP示意图:

图片

Cadence 能够模拟并测试整个协议栈作为一个单元,这涵盖了客户在实际应用中广泛使用的多种配置。这样做的一大优势在于,它能够更全面地模拟真实环境下的工作条件,发现并解决设计初期可能存在的问题,从而大幅度降低客户在其系统级芯片(SoC)设计中可能面临的各种风险。

图片

Cadence公司成功演示了其128GT/s PCIe 7.0 IP在实际应用条件下的强大传输(TX)和接收(RX)能力,这些条件包括低延迟、无需重定时的线性光学连接。

图片

Cadence团队不仅展示了这一先进接口的速度潜力,而且在连续两天的不间断演示期间,维持了一个非常稳定的预前向纠错(pre-FEC)误码率(BER)约为3E-8的高水平表现。这一数值远低于PCIe规范要求的1E-6,意味着即使在极端条件下,该系统也能提供足够的冗余来确保数据的准确无误传输,为后续的RS纠错编码留下了充足的空间。这意味着即便在数据传输过程中出现极小的错误,系统也有能力自我修正,保证数据的完整性。

图片

从Cadence展示的接收端PAM4眼图直方图中可以看出,信号的线性度和裕量表现优秀,这反映了其在处理高速数据传输时的高稳定性和可靠性。眼图的开阔和清晰表明了信号在经过长距离传输后仍能保持高质量,这对于确保在复杂系统环境中的高效数据交换至关重要。

这项演示不仅是对PCIe 7.0技术潜力的有力证明,也预示着光学互连技术在高速数据传输领域的新突破。通过克服传统铜缆在高速率下的信号衰减和干扰问题,光学连接为PCIe 7.0的广泛应用打开了新的大门,尤其是在对数据传输速度和延迟有极高要求的高性能计算(HPC)、人工智能(AI)、数据中心等领域。

随着PCIe 7.0标准的推进和商用化,此类光学连接解决方案有望成为下一代计算平台和数据中心架构的关键组成部分,推动整个行业向更高效、更快速的数据处理时代迈进。

扩展阅读:

参考文档:

  • https://pcisig.com/events/pci-sig-developers-conference-2024

  • https://community.cadence.com/cadence_blogs_8/b/ip/posts/cadence-demonstrates-complete-pcie-7-0-solution-at-pci-sig-devcon-24

  • https://www.servethehome.com/amd-infinity-fabric-afl-scale-up-competitor-to-nvidia-nvlink-coming-to-broadcom-switches-in-pcie-gen7/


如果您看完有所受益,欢迎点击文章底部左下角“关注”并点击“分享”、“在看”,非常感谢!

精彩推荐:

如果您也想针对存储行业分享自己的想法和经验,诚挚欢迎您的大作。
投稿邮箱:[email protected] (投稿就有惊喜哦~)

《存储随笔》自媒体矩阵

图片

如您有任何的建议与指正,敬请在文章底部留言,感谢您不吝指教!如有相关合作意向,请后台私信,小编会尽快给您取得联系,谢谢!

标签:数据中心,道光,PCIe,7.0,SSD,浅析,光学
From: https://blog.csdn.net/zhuzongpeng/article/details/139785275

相关文章

  • 基于AD9009的PCIe射频信号采集回放卡
    基于AD9009的PCIe射频信号采集回放卡PCIe射频收发平台75MHz至调谐范围200MHz瞬时带宽基于RF-IC芯片PCIe射器和接收器、集成式频率合成器以及数字信号处理功能。满足3G、4G和5G宏蜂窝时分双工(TDD)基站应用要求。接收链路由两个独立的带宽、直接变频接收器组成,具有出色的动射频......
  • PCI2363/PCIe2363/PXI2363/PXIe2363,工业级光电隔离DI/O卡,通道间隔离,支持24路漏极源极
    数据采集与控制 > 数字I/O卡 > 2363系列236x系列板卡是本公司推出的PCI、PCIe、PXI、PXIe四种总线的工业级光电隔离DI/DO卡,采用并行数字IO接口设计,支持多达48路I/O通道,并且通道与通道间隔离。输入包含可编程输入滤波器功能,以消除信号的毛刺/尖峰,使采集结果更精准。输出......
  • Flink1.17.0-报错: java.lang.NoSuchMethodError: org.apache.kafka.clients.admin.De
    背景:启动Flink的sql-client.sh,创建Kafka的source端表,然后查询Kafka的数据时报错。报错信息:2024-06-1816:10:12org.apache.flink.util.FlinkException:GlobalfailuretriggeredbyOperatorCoordinatorfor'Source:kafka_rmc_cust_analog_u[1]'(operatorbc764cd8ddf7a0c......
  • PCIe 7.0首次引入光学:满血带宽高达512GB/s
    PCIe6.0标准规范于2022年初正式发布,至今尚未商用落地,而新一代PCIe7.0已经徐徐走来,首次引入光学通信连接。PCIe6.0被认为是PCIe问世近20年以来变化最大的一次,信号调制机制改为PAM4,配套支持FEC前向纠错机制、FLIT流量控制单元编码,带宽继续翻番,x16双向可达256GB/s。但是到了这里......
  • 高速信号处理板卡设计原理图:519-基于ZU19EG的4路100G光纤的PCIe 加速计算卡
    基于ZU19EG的4路100G光纤的PCIe加速计算卡  一、板卡概述    本板卡系我司自主设计研发,基于Xilinx公司ZynqUltraScale+MPSOC系列SOCXCZU19EG-FFVC1760架构,支持PCIEGen3x16模式。其中,ARM端搭载一组64-bitDDR4,总容量达4GB,可稳定运行在2400MT/s,PL端......
  • Riffa用户接口与PCIE组帧
    参考:PCIE之RIFFA框架接口时序_riffa框架-CSDN博客一、概述  RIFFA是一个开源框架,用于实现简便的PCIE通信,使开发者只需要关注与数据相关的接口,不必花费大量时间用于TLP包的解析核封装。一个简单的结构框图如下:二、接口时序  使用RIFFA框架开发只用关注用户侧的数据接口时......
  • PCIe BAR空间的值是谁设置的?谁分配的,什么时间分配的?
    Linux系统下PCIe总线、设备的枚举,资源的分配到底是哪里进行的?一直没搞太清楚,安装参考中的方法构建文件系统,编译内核,利用Qemu调试分析这个问题如下:内核代码是5.15.0-107-generic,工作环境是ubuntu22.04serverOS。Qemu虚拟机中的PCIe相关打印和对应函数如下[1.510805]P......
  • ubuntu22.04编译openwrt的lede-17.01一些错误的处理方式
    m4c-stack.c:55:26:error:missingbinaryoperatorbeforetoken“(“55|#elifHAVE_LIBSIGSEGV&&解决方法:wgethttps://raw.githubusercontent.com/keyfour/openwrt/2722d51c5cf6a296b8ecf7ae09e46690403a6c3d/tools/m4/patches/011-fix-sigstksz.patch-O......
  • 【jmeter】ubuntu分布式jmeter报错:java.rmi.ConnectException: Connection refused to
    一、场景   由于高并发测试,服务器资源不够用,所以需要使用jmeter分布式进行测试,但是测试过程中报错:java.rmi.ConnectException:Connectionrefusedtohost:127.0.1.1;  二、问题原因   就是hostname-i如果返回的是127.0.1.1 三、处理方法   修改hostna......
  • etcd错误:Failed to defragment etcd member[127.0.0.1:2379] (context deadline excee
    etcd版本#etcdctlversionetcdctlversion:3.5.1APIversion:3.5问题在执行etcdctl--endpoints=http://127.0.0.1:2379defrag命令时,可能遇到错误:{"level":"warn","ts":"2024-06-12T18:20:17.444+0800","logger":"et......