机器学习模型的复杂性和规模不断增长，分布式训练变得比以往任何时候都更加重要。训练具有数千亿参数的大型语言模型（LLMs）将是机器学习基础设施面临的挑战。与传统的分布式计算框架不同的地方在于GPU的分布式训练需要将数据传递给GPU芯片等物理硬件层。GPU设备之间会进行频繁、