目录算力共享，分布式大模型是什么一、算力共享二、分布式大模型AllReduce是什么原理概述具体原理简单例子模型并行，流水线并行是什么模型并行流水线并行环形通信（如RingAllReduce）、树形通信（如TreeAllReduce环形通信（RingAllReduce）树形通信（TreeAllReduce）总结