首页 > 其他分享 >昇思MindSpore进阶教程--AOE调优工具

昇思MindSpore进阶教程--AOE调优工具

时间:2024-10-20 11:45:40浏览次数:9  
标签:AOE 进阶 -- 知识库 aoe 调优 context 工具

大家好,我是刘明,明志科技创始人,华为昇思MindSpore布道师。
技术上主攻前端开发、鸿蒙开发和AI算法研究。
努力为大家带来持续的技术分享,如果你也喜欢我的文章,就点个关注吧

概述

AOE(Ascend Optimization Engine)是一款自动调优工具,作用是充分利用有限的硬件资源,以满足算子和整网的性能要求。AOE工具的详细介绍,请参考AOE简介。本文档主要介绍如何使用AOE工具实现MindSpore训练场景下的调优。

开启调优

配置环境变量。

在set_context接口中设置aoe_tune_mode,即可开启AOE工具进行在线调优。aoe_tune_mode的取值为"online", 开启在线调优。

在set_context接口中设置aoe_config,可设置调优配置。job_type是设置调优类型,取值在[“1”, “2”]中,默认值是2。其中:

1:表示子图调优。

2:表示算子调优。

举例在线调优的使用方法:

import mindspore as ms
ms.set_context(aoe_tune_mode="online", aoe_config={"job_type": "2"})


设置好上述context之后,按照正常执行训练脚本方式即可启动调优,用例执行期间,无需任何操作,用例执行结束之后的结果即为调优之后的结果。

查看调优结果

调优开始后,会在执行调优的工作目录下生成命名为aoe_result_opat_{timestamp}_{pidxxx}.json的文件来记录调优过程和调优结果。该文件的具体解析请参考调优结果文件分析。

调优完成后,若满足自定义知识库生成条件,则会生成自定义知识库。如果指定了知识库存储路径的环境变量TUNE_BANK_PATH,调优生成的知识库会在指定目录下生成,否则调优生成的知识库会在如下默认路径中${HOME}/Ascend/latest/data/aoe/custom/graph/${soc_version}

知识库合并

算子调优结束后,生成的调优知识库支持合并以便于再次执行用例使用(或者其他脚本使用)。仅支持相同昇腾AI处理器型号下的自定义知识库合并。具体合并方式请参考CANN开发工具指南中的合并知识库。

使用须知

AOE调优工具在使用时,请注意以下几点:

  1. AOE调优工具只支持在Ascend环境上使用。

  2. 请确保运行环境中执行调优用户的home目录下磁盘可用空间>=20G。

  3. 开启该调优工具后,可以明显感知算子编译时间变长,属于正常现象。

标签:AOE,进阶,--,知识库,aoe,调优,context,工具
From: https://blog.csdn.net/weixin_42553583/article/details/143090525

相关文章

  • IDEA代码不想提交了,如何回滚
    前言我们在使用IDEA开发Java应用时,经常是需要用git提交代码的,但是有时候,突然不想修改了,就需要把代码进行回滚,那么我们该如何操作呢?如何回滚代码首先,我们点击左侧的commit窗口,然后点击下我们要回滚的文件,鼠标右击下。然后,我们在选项中,点击下【Rollback】。然后,我们在弹出的......
  • Spacy的一些用法留档(有待更新)
    Spacy的一些用法:#分词nlp=spacy.load("zh_core_web_sm")doc=nlp(u'中国是世界上最大的发展中国家')fortokenindoc:print(token)#另一种分词(不分割特有名词)nlp=spacy.load("zh_core_web_sm")#添加自定义词汇nlp.tokenizer.pkuseg_update_user_dict(......
  • 2024-2025-1 20241304 《计算机基础与程序设计》第4周学习总结
    2024-2025-120241304《计算机基础与程序设计》第4周学习总结作业信息|这个作业属于哪个课程|<2024-2025-1-计算机基础与程序设计)|>|-- |-- ||这个作业要求在哪里|<作业要求的链接>(https://www.cnblogs.com/rocedu/p/9577842.html#WEEK04))||这个作业的目标|<复习第四章内......
  • DELPHI 隐藏程序窗口,以及TListView控件,点击标题进行排序
    设置视图: 运行效果:    unitHideWindown;interfaceusesWindows,Messages,SysUtils,Classes,Forms,StdCtrls,ActiveX,ComObj,ShellAPI,Tlhelp32,Vcl.Controls,Vcl.ComCtrls,psapi,Vcl.ExtCtrls;typeTForm1=class(TForm)GetWList......
  • OVH虚拟机安装MikrotikOS
    先pingip地址,如果不通可以检查路由器连接是否正常,检查防火墙是否拦截 先进入恢复模式RescueMode,正常系统模式可能DD不成功.*先进入恢复模式RescueMode,正常系统模式可能DD不成功.****先进入恢复模式RescueMode,正常系统模式可能DD不成功.***登录恢复模式先更新系......
  • IDEA如何配置自己的maven和maven设置阿里云仓库
    前言我们在使用IDEA开发Java应用时,一般是需要配置maven仓库的,那么我们应该如何配置呢?此外,默认的maven仓库下载速度很慢,我们一般可以配置阿里云或者华为云仓库,这个又应该怎么配置呢?如何配置maven及配置阿里云仓库首先,我们打开设置面板。然后,我们点击【Build,Execution,Deploym......
  • 码城|挑战中,Java面试题复习第3天,坚持就是胜利【悟空非空也】
     ......
  • 软件分享 | 截图工具 Snipaste
    今天分享:今日分享的是一款截图界的神器——Snipaste!特点:......
  • 常见的性能效率失效模式及原因
    目录一、在所有负载水平下响应缓慢二、中高负载下反应缓慢三、随着时间的推移,响应降低四、高负载或超高负载下出错处理不充分或粗暴五、高延迟六、低吞吐量七、资源耗尽八、负载下的稳定性差九、扩展性问题在动态测试过程中可以发现许多不同的性能效率失效模式,以下......
  • 神经网络与机器学习的区别及例子?CNN是有监督学习吗?
    一、神经网络和机器学习在概念上有所区别,但也紧密相关。以下是它们的主要区别以及一些例子:区别:定义:机器学习:是人工智能的一个分支,使计算机系统能够利用数据来不断改进性能,无需明确编程。它侧重于开发算法,让计算机通过经验学习。神经网络:是一种受人脑结构启发的机器学习算......