sbp
  • 2024-09-18多机训练时的环境变量
    多机训练时的环境变量通过设置环境变量配置分布式训练,仅仅是为了在交互式Python环境下,方便查看实验效果。如果不是学习、试验目的,而是生产需求,可以直接通过 oneflow.distributed.launch 启动分布式训练,该模块内部根据命令行参数,自动设置了必要的环境变量。1)MASTER_ADDR:多机
  • 2024-08-11glm_oneflow基于Oneflow框架的glm-10b-chinese自然语言处理
    GLM论文GLM:GeneralLanguageModelPretrainingwithAutoregressiveBlankInfillinghttps://arxiv.org/abs/2103.10360模型结构2017年,Google提出了Transformer架构,随后BERT、GPT、T5等预训练模型不断涌现,并在各项任务中都不断刷新SOTA纪录。2022年,清