摘要：针对现有长序列训练场景的痛点，MindSpeed在并行算法、计算效率、内存占用以及通信四个维度系统性优化大模型长序列训练效率，支持大模型百万级长序列训练。1      长序列已经成为主流大模型能力之一23年底Gemini1.5Pro发布以来，大模型序列长度迅速增长，处理超长序列上下