Colossal-AI是一个专注于大规模模型训练的深度学习系统，Colossal-AI基于PyTorch开发，旨在支持完整的高性能分布式训练生态。Colossal-AI已在GitHub上开源。
在Colossal-AI中，我们支持了不同的分布式加速方式，包括张量并行、流水线并行、零冗余数据并行、异构计算等。
标签：DeepSpeed,训练,colossal,并行,AI,开源,Colossal,chat From： https://www.cnblogs.com/pass-ion/p/17604260.html