迁移的基本流程
第一步：算子满足度分析
方法一
在pytorch profiler在GPU上提取算子
方法二 使用CANN分析迁移工具
第二步：
配置相关硬件环境，在pytorch的基础上安装pytorch adapt;
模型迁移-手工迁移（单Device代码迁移）
导入NPU相关库（pyTORCH1.8）
将device类型修改为npu
将训练脚本中的cuda接口替换为NPU接口
hccl和nccl的区别
DP和DDO的区别
推荐的使用方式
关于混合精度
CUBE仅仅支持FP16，对于FP32的矩阵运算，无法调用CUBE的高算力。
整网使用FP16,数值范围小容易导致梯度消失。
可以使用自动混合精度，通过梯度scale以及回落FP32消除FP16的影响。
标签：CUBE,FP32,模型,pytorch,FP16,NPU,迁移 From： https://www.cnblogs.com/guoziheng/p/18320229