目录1.参考2.概述3.目标4.模型并行4.流水线并行4.1切分micro-batch4.2re-materialization（activecheckpoint）5.实验效果5.1GPU数量VS模型大小ofModelParameter表示模型的参数量5.2GPU数量VS训练速度5.3Gpipe下时间消耗分布1.参考https://zhuanlan.zhihu.com/p/6