首页 > 其他分享 >【2023 · CANN训练营第一季】昇腾AI入门课(TensorFlow)之模型迁移

【2023 · CANN训练营第一季】昇腾AI入门课(TensorFlow)之模型迁移

时间:2023-05-30 13:33:03浏览次数:38  
标签:脚本 训练 手工 CANN AI API 2023 TensorFlow 迁移

昇腾AI入门课(TensorFlow)之模型迁移

将TensorFlow网络模型迁移到异腾Al处理器执行训练,主要有两种方式:

  • 自动迁移方式。通过迁移工具对原始脚本进行AST语法树扫描,可自动分析原生的TensorFlow API在异腾AI处理器上的支持度,并将原始的TensorFlowi训练脚本迁移成异腾Al处理器支持的脚本,对于无法自动迁移的API,可以参考工具输出的迁移报告,对训练脚本进行相应的适配修改。
  • 手工迁移方式。算法工程师需要人工分析TensorFlow训练脚本中的API支持度情况,并且参照文档逐一手工修改不支持的API,以便在异腾AI处理器上训练,该种方式较为复杂,我们建议大家优先使用自动迁移方式。

1.自动迁移

  • 使用限制

在使用工具进行模型迁移前,先来了解对原始训练脚本的限制: a.要求原始脚本在GPU/CPU上跑通,精度收敛。 b.要求原始脚本仅使用TensorFlow1.15官方API和Horovod官方API,若用户脚本使用了其他第三方API,当前工具暂不支持迁移。

  • 迁移步骤
# 安装依赖。
pip3 install pandas
pip3 install xIrd==1.2.0
pip3 install openpyxl
pip3 install tkintertable
pip3 install google_pasta

# 进入迁移工具所在目录,执行命令可同时完成脚本扫描和自动迁移
python3 main.py -i/root/models/official/resnet

2.手工迁移

昇腾TF Adapter支持TensorFlow的三种API开发的训川练脚本的手工迁移:分别是Estimator,Sess.run,Keras。 手工迁移点包含: a.导入NPU库文件 b.将部分TensorFlow接口迁移成NPU接口 c.通过配置关闭TensorFlow与NPU冲突的功能 d.配置NPU相关参数

  • 手工迁移过程Estimator

使用Estimatori进行训练脚本开发的流程为:

a.数据预处理,创建输入函数input_fn。

b.模型构建,构建模型函数model_fn。

c.运行配置,实例化Estimator,并传入Runconfig类对象作为运行参数。

d.执行训练,在Estimator上调用训练方法Estimator.train0,利用指定输入对模型进行固定步数的训练。

  • 手工迁移sess.run

【2023 · CANN训练营第一季】昇腾AI入门课(TensorFlow)之模型迁移_昇腾CANN

  • 手工迁移keras

【2023 · CANN训练营第一季】昇腾AI入门课(TensorFlow)之模型迁移_昇腾CANN_02

标签:脚本,训练,手工,CANN,AI,API,2023,TensorFlow,迁移
From: https://blog.51cto.com/u_14125503/6378110

相关文章

  • 黑马Vue3 + ElementPlus + Pinia 小兔鲜电商项目2023版
    黑马Vue3+ElementPlus+Pinia小兔鲜电商项目2023版download:3w51xuebccomElementPlus:优雅高效的Vue组件库随着Vue.js在前端开发中的广泛应用,越来越多的UI组件库涌现出来。而其中一款备受瞩目的组件库就是ElementPlus。作为一款基于Vue3.0的组件库,ElementPlus不仅完美地继承了......
  • 2023CISCN MISC Puzzle
    虽然没有参加,但是这道题我比较感兴趣,bmp拼图,听其他师傅一说,我就感觉有印象,一查发现与22年的春秋杯PINTU类似要拼图,先要知道原图的宽高,给出的图片宽是不等的,需要我们去计算一下files=os.listdir('./tmp4')size=[]forfileinfiles:withopen('./tmp4/'+file,'rb')......
  • 甘肃政法大学AI协会
    甘肃政法大学AI协会成员博客甘肃政法大学AI协会简介:甘肃政法大学AI协会正式成立于2022年6月30日,是在院团委领导下,人工智能与大数据发展环境为前提的实践性学生社团,是面向全校同学科技创新类社团。旨在为学生提供良好的学习人工智能领域相关知识的学习环境,促进......
  • 全国流体力学盛会召开,飞桨AI4S携最新科研进展亮相西湖大学
    5月20-21日,第四届全国智能流体力学研讨会暨第二届智能流体力学产业联合体大会在西湖大学召开。此次会议由中国力学学会、中国空气动力学会、《水动力学研究与进展》编委会、西湖大学、浙江大学、上海交通大学、中国船舶集团第七〇八研究所主办;上海中船编印社有限公司、中国力学学会......
  • CCPC 2023 湘潭邀请赛游记
    序04:36,长沙返程的硬卧列车上。禁不起隔壁大叔富有特色的鼾声,对着窗外发愣。写写游记吧。Day(-inf,0)由于UCUPTaiwan场神奇的发挥,意外获得湘潭邀请赛名额x1。公费旅游万岁!然而,飞机不给报,高铁不给报,软卧不给报,打车也不给报,路途时间高达30h,还被迫翘掉周五周一头尾三......
  • MATLAB R2023a Mac(专业编程和数学计算软件)
    MATLABr2022b是一款功能强大的编程和数学计算工具,取用于处理科学、工程和数学应用程序中的复杂数据,可用于科学研究、信号处理、计算机视觉,机器学习,人工智能以及相关软件领域。适用范围:MATLAB是一款功能强大的编程工具,可以帮助您完成科学、工程或数学应用程序的开发工作。在您进......
  • 【EXPLAIN】MySQL执行计划分析
    目录什么是执行计划?如何获取执行计划?执行计划结果分析idselect_typetabletype(重要)possible_keyskey(重要)key_lenrowsExtra(重要)什么是执行计划?执行计划是指一条SQL语句在经过MySQL查询优化器的优化会后,具体的执行方式。执行计划通常用于SQL性能分析、优化等场景。通过EXP......
  • C/C++学生成绩管理系统[2023-05-30]
    C/C++学生成绩管理系统[2023-05-30]学生成绩管理系统设计----高级语言课程设计题目问题描述:设学生信息包括:学号、姓名、期末成绩、平时成绩,对学生的学习成绩信息进行管理。设计要求:实现学生信息的录入、修改、插入、删除、查询、计算总评成绩、根据总评成绩排序和划分等级、......
  • solidworks笔记20230530
    教程文件位置在帮助中用activeX打开文件,然后点另存为,对话框出现后,复制路径,取消关闭对话框。将复制的路径保存到文件浏览器中。比如我的教程文件的位置是:C:\Users\Public\Documents\SOLIDWORKS\SOLIDWORKS2022\samples\tutorial\步路模板步路模板,就是装配体模板,和修改装配体......
  • ps 2023版本更新?支持M1、神经滤镜,最新版 Photoshop 2023 (ps 2023) for Mac v24.5/24.
    Photoshop2023是一款功能强大、易于操作的图像处理软件,可以帮助用户实现对图像的全方位处理,提高工作效率和图像质量。它拥有丰富的工具和素材、高质量的输出、简单易用的操作界面、对AI和3D的支持以及云端集成等特点...Mac版详情:Photoshop2023 Photoshop2023拥有以下特点:......