首页 > 其他分享 >【2023 · CANN训练营第一季】昇腾AI入门课(PyTorch)之模型迁移

【2023 · CANN训练营第一季】昇腾AI入门课(PyTorch)之模型迁移

时间:2023-05-30 14:07:34浏览次数:41  
标签:脚本 转换 训练 CANN AI PyTorch NPU 迁移

昇腾AI入门课(PyTorch)之模型迁移

将基于PyTorch的训练脚本迁移到昇腾AI处理器上进行训练,目前有以下3种方式:自动迁移(推荐)、工具迁移、手工迁移,且迁移前要保证该脚本能在GPU、CPU上运行。

  • 自动迁移:训练时,在训练脚本中导入脚本转换库,导入后执行训练。训练脚本在运行的同时,会将脚本中的CUDA接口替换为昇腾AI处理器支持的NPU接口。整体过程为:边训练边转换。
  • 工具迁移:训练前,通过脚本迁移工具,将训练脚本中的CUDA接口替换为昇腾AI处理器支持的NPU接口,并生成迁移报告(脚本转换日志、不支持算子的列表、脚本修改记录)。训练时,运行转换后的脚本。整体过程为:先转换脚本,再进行训练。
  • 手工迁移:算法工程师通过对模型的分析、GPU与NPU代码的对比进而对训练脚本进行修改,以支持在昇腾AI处理器上执行训练。迁移要点如下:定义NPU为训练设备,或将适配GPU的接口切换至适配NPU的接口。多卡迁移需修改芯片间通信方式为hccl。

1.自动迁移——只需一行代码

仅PyTorch1.8.1版本及以上使用,自动迁移方式较简单,且修改内容最少,只需在训练脚本中添加引入库代码。

import torch
import torch_npu
.....
# 在训练脚本中添加引入库代码
from torch_npu.contrib import transfer_to_npu

2.工具迁移——脚本转换工具(msFmkTransplt)

  • 功能介绍脚本转换工具根据适配规则,对用户脚本给出修改意见并提供转换功能,提高了脚本迁移速度,降低了开发者的工作量。
  • 原脚本需要在GPU环境下且基于Python 3.7及以上能够跑通,脚本转换后的执行逻辑与转换前保持一致。
  • 此脚本转换工具当前支持PyTorch1.5.0和1.8.1版本的训练脚本转换。
#执行转换进入脚本转换工具所在路径	

cd Ascend-cann-toolkit安装目录/ascend-toolkit/latest/tools/ms_fmk_transplt/

#执行脚本转换
./pytorch_gpu2npu.sh -i 原始脚本路径 -o 脚本迁移结果输出路径 -v 原始脚本框架版本

#完成脚本转换

【2023 · CANN训练营第一季】昇腾AI入门课(PyTorch)之模型迁移_昇腾CANN

3.手工迁移

Step1 迁移前的准备

【2023 · CANN训练营第一季】昇腾AI入门课(PyTorch)之模型迁移_昇腾CANN_02

Step2 单卡模型迁移

【2023 · CANN训练营第一季】昇腾AI入门课(PyTorch)之模型迁移_昇腾CANN_03

Step3 多卡模型迁移

【2023 · CANN训练营第一季】昇腾AI入门课(PyTorch)之模型迁移_昇腾CANN_04

Extra 报错排查

【2023 · CANN训练营第一季】昇腾AI入门课(PyTorch)之模型迁移_昇腾CANN_05

标签:脚本,转换,训练,CANN,AI,PyTorch,NPU,迁移
From: https://blog.51cto.com/u_14125503/6378076

相关文章

  • 【2023 · CANN训练营第一季】昇腾AI入门课(PyTorch)之AI应用开发入门
    图片googlenet分类样例首先在华为云上购买一台弹性云服务器,远程登陆到服务器上。#修改HwHiAiUser的shell为bashvim/etc/passwd切换为HwHiAiUser用户su-HwHiAiUser下载sample样例库gitclonehttps://gitee.com/ascend/samples.git获取此应用中所需要的原始网络模型#进入模型......
  • OpenAI API 代理
    由于OpenAI及GFW的双重限制,国内用户无法访问OpenAI的API,现提供代理服务地址供开发者免费使用。✅代理地址:https://api.openai-proxy.com,支持OpenAI官方所有接口。本服务只做代理中转,不会保存任何数据!......
  • Photoshop 2023 Beta 内置Ai绘图功能介绍&安装教程
    距离Adobe软件公司首次将图像编辑及数字绘画软件Photoshop推出到大众面前已经过去35年,最近该公司又再次书写了属于Photoshop的历史新篇章。最近,Adobe宣布Photoshop(Beta)迎来更新,新增「创意填充(GenerativeFill)」功能,生成式AI绘图由AdobeFirefly提供支持,Adobe的创意生成AI模型系......
  • 【2023 · CANN训练营第一季】昇腾AI入门课(TensorFlow)之模型迁移
    昇腾AI入门课(TensorFlow)之模型迁移将TensorFlow网络模型迁移到异腾Al处理器执行训练,主要有两种方式:自动迁移方式。通过迁移工具对原始脚本进行AST语法树扫描,可自动分析原生的TensorFlowAPI在异腾AI处理器上的支持度,并将原始的TensorFlowi训练脚本迁移成异腾Al处理器支持的脚本,对于......
  • 甘肃政法大学AI协会
    甘肃政法大学AI协会成员博客甘肃政法大学AI协会简介:甘肃政法大学AI协会正式成立于2022年6月30日,是在院团委领导下,人工智能与大数据发展环境为前提的实践性学生社团,是面向全校同学科技创新类社团。旨在为学生提供良好的学习人工智能领域相关知识的学习环境,促进......
  • 全国流体力学盛会召开,飞桨AI4S携最新科研进展亮相西湖大学
    5月20-21日,第四届全国智能流体力学研讨会暨第二届智能流体力学产业联合体大会在西湖大学召开。此次会议由中国力学学会、中国空气动力学会、《水动力学研究与进展》编委会、西湖大学、浙江大学、上海交通大学、中国船舶集团第七〇八研究所主办;上海中船编印社有限公司、中国力学学会......
  • 【EXPLAIN】MySQL执行计划分析
    目录什么是执行计划?如何获取执行计划?执行计划结果分析idselect_typetabletype(重要)possible_keyskey(重要)key_lenrowsExtra(重要)什么是执行计划?执行计划是指一条SQL语句在经过MySQL查询优化器的优化会后,具体的执行方式。执行计划通常用于SQL性能分析、优化等场景。通过EXP......
  • Focus On 3D Terrain Programming三维地形渲染-Trent Polack-2003
    前言:你有多少次访问过你最喜欢的编程论坛或邮件列表,并对大量关于地形渲染算法的帖子感到惊讶,这些帖子似乎从各个角度向你袭来?地形渲染似乎是当今业余程序员最喜欢的主题;它是一个很好的门户网站,可以了解更高要求的问题及其解决方案。然而,地形渲染决不是一个简单的问题,特定的解决方......
  • 苹果公司限制员工使用AI工具ChatGPT
    ​      导读:苹果公司最近发布了一份内部备忘录,禁止员工使用生成式AI平台(包括ChatGPT和GitHub的Copilot等)用于工作任务。 本文字数:600,阅读时长大约:2分钟 苹果公司最近发布了一份内部备忘录,禁止员工使用生成式AI平台(包括ChatGPT和GitHub的Copilot等)用于工作任务。这......
  • Self-consistency Improves Chain of Thought Reasoning in Language Models 论文阅读
    ICLR2023原文地址1.MotivationChain-of-Thought(CoT)使LargeLanguageModels(LLMs)在复杂的推理任务中取得了令人鼓舞的结果。本文提出了一种新的解码策略——self-consistency,以取代贪婪解码。self-consistency利用了一种直觉,即一个复杂的推理问题通常允许多种不同的思维......