硬件结构CPU<->GPU:通过PCIe进行通信GPU<->GPU:NVLink,通过Switch桥接器辅助访问其他卡的HBM多机通信:InfiniBandwithGPUDirectRDMA(简称GDRDMA),需要专用网卡卡间通信-RingAllReducenvidia文档1.初始状态卡数:N(该图为4),总数据量为K.在RingAllreduce算法