首页 > 其他分享 >如何阅读并学习 MegEngine 的代码

如何阅读并学习 MegEngine 的代码

时间:2023-08-17 16:33:58浏览次数:30  
标签:阅读 代码 master https 算子 MegEngine com

旷视开源的深度学习框架 MegEngine,MegEngine 是一个快速、可拓展、易于使用且支持自动求导的深度学习框架。

以最新的 release 版本 release-1.13.0 为例介绍一下 MegEngine 的代码结构以及如何学习 MegEngine 的代码。

1. 编译

对于学习大型项目,我们建议源码编译项目而不是直接安装包,这样我们可以直接修改代码(并编译)再观察我们的改动的影响。

2. 从一个例子入手,自顶向下

大型项目动辄几千上万条 commit,代码行数也是几十万行起步,把每个 commit、每一行代码都看一遍对于个人开发者来说显然是不现实的。因此我们应该先从较为重要的、我们比较关心的文件入手,慢慢拓展我们对于项目的认知。

在 MegEngine 的官方文档中提供了一个用 MegEngine 实现手写数字识别的例子。

看了这个例子后,你可能会有以下疑问:

  • MegEngine 是如何获取数据集的呢?
  • MegEngine 如何对数据集进行处理?我又要如何实现自己的数据处理方法呢?
  • Functional 中的算子是如何完成计算的呢?GradManager 和 Optimizer 如何管理我的参数梯度呢?
  • 训练和推理出了问题,我又该如何调试呢?

每个开发者 / 用户的关注点都可能不同,Python 层作为深度学习框架的入口,我们可以从这里的代码学习起来:<https://github.com/MegEngine/MegEngine/tree/master/imperative/python/megengine>

粗略浏览一下目录结构,可以看到这里实现了很多 Python 层的接口,可以挑一个感兴趣的开始看,我们推荐从 functional 开始,这里实现了常用的算子,你也可以在这里添加算子。

比如我们的例子中用了 conv 算子,我们就可以跳转到这个算子的实现:<https://github.com/MegEngine/MegEngine/blob/master/imperative/python/megengine/functional/nn.py#L224>,通过阅读函数的注释我们可以知道每个参数都是做什么的,逐行读下来之后我们会发现这里做的最主要的一件事就是把参数扔到一个 builtin.Convolution 的东西之后去执行(apply)了。这里做的事是:python 层的算子实现需要调用 C++ 的算子实现,builtin.xxx 作为一个接口可以理解为让我们在 Python 程序中接入我们的 C++ 算子实现。这里可以参考 MegEngine 官方文档中关于添加算子的描述,找到我们关心的算子的实现,比如 conv:https://github.com/MegEngine/MegEngine/blob/master/imperative/src/impl/ops/convolution.cpp#L15。

直接看算子的 C++ 实现可能会一头雾水,这时候建议照着 MegEngine 的官方文档,自底向上看(MegDNN→Graph Runtime→Imperative Runtime):<https://www.megengine.org.cn/doc/stable/zh/development/how-to/add-an-operator.html>,因为上层要调用下层的实现。对于各模块作用以及调用关系感到困惑的话可以参考 MegEngine 的架构设计文档:https://www.megengine.org.cn/doc/stable/zh/development/architecture-design/index.html。

3. 如何进阶

了解了一个算子的 Python 实现向下到具体的硬件实现之后,你可能会有更多的疑问,你可能会对 MegEngine 如何提供基础设施支持上层的算法开发感到好奇,我们再看一眼 MegEngine 的架构设计图:

如何阅读并学习 MegEngine 的代码_Python

不得不说单看图就可知这里涉及到的组件数量众多、调用关系复杂。个人是难以在短时间内掌握所有组件的架构细节的(更不可能把代码全看一遍了)。我们推荐根据架构图先简单了解各个模块的功能:每个模块的作用、与上下游其他模块之间的关系。在对于项目整体架构有了粗略把握之后,再对我们感兴趣的模块进行更深入的研究。

感兴趣的同学可以深入源码进行研究,可以边看代码边改、解决项目现有的 issues、为仓库贡献代码等都是很好的学习方式。

4. 寻求帮助

一个人学习大型项目难免会有非常多的疑问,在学习的过程中应当多查阅资料、多于他人交流。遇到困难时可以获得帮助的手段有:


标签:阅读,代码,master,https,算子,MegEngine,com
From: https://blog.51cto.com/u_15847528/7123907

相关文章

  • git本地代码推送到远程仓库的指定分支并进行强制覆盖
     1、关联远程仓库:如果还没有关联远程仓库,可以使用以下命令将本地仓库关联到远程仓库:gitremoteaddorigin<远程仓库URL>其中,origin是远程仓库的别名,你可以自行命名2、切换到要推送的分支:确保你在本地切换到了要推送的分支。如果没有该分支,可以使用以下命令创建并切换......
  • 【代码快】-验证码-绘制倒图片显示
    整理代码块代码块整理后存储,供后期使用SubshowRandomStr()str=String.Empty'生成随机数字符串DimrAsRandom=NewRandom()Fori=0To4str+=r.Next(0,9).ToStringNext'画字符串DimbmpAsBitmap=NewBitmap(120,......
  • 某公司笔试题 - 删除字符串中出现次数最少的字符(附python代码)
    #实现删除字符串中出现次数最少的字符,若出现次数最少的字符有多个,则把出现次数最少的字符都删除。输入删除这些单词后的字符串,字符串中其它字符保持原来的顺序。#数据范围:输入的字符串长度满足1<=n<=20,保证输入的字符串中仅出现小写字母str1=input().lower()dic={}if1<......
  • 低代码开发平台:解锁定制化创新的无限可能
    在如今快节奏的数字化时代,软件产品的快速开发和定制化需求已经成为企业成功的关键因素之一。而低代码开发平台作为一种高效的工具,不仅可以加速应用系统的开发周期,还能够满足各种个性化的需求。它通过无缝集成为应用系统增添了灵活性和创造力,为企业提供了一个真正实现数字化转型的机......
  • 零代码搭建一个微信小程序
    本文分享自华为云社区《【新手指引】体验通过AstroZero零代码快速搭建微信小程序》,作者:华为云Astro。通过本文,您将学会如何基于Astro零代码能力,DIY开发,完成问卷、投票、信息收集、流程处理等工作,还能够在线筛选、分析数据。实现一站式快速开发个性化应用,体验轻松拖拽开发的乐趣。......
  • 基于Kubernetes云原生技术的低代码PaaS平台,快速构建企业级应用程序
    低代码开发平台只需要编写简单的配置文件即可构建企业级应用程序。低代码PaaS平台可以在云端开发、部署、运行低代码应用程序。使用独立数据库模型,基于Kubernetes云原生技术,每个租户均可拥有一套独立的存储、数据库、代码和命名空间,实现了100%的租户数据隔离,并可以随时迁移到私有部......
  • 低代码软件开发框架:用专业技术开启流程化管理办公!
    在新的发展时代,拥有优质的资源和平台,可以助力企业创造佳绩,实现梦想。低代码软件开发框架是提升办公协作效率,提质增效的软件平台,在很多大中型企业中深受欢迎,可以帮助企业实现流程化管理,进入数字化发展新时代。诚然,选择好的服务商是走向成功的关键一步。因为这是能给企业降低风险、......
  • 如何利用量化交易平台获取实时行情数据进行分析之代码分享
    量化交易平台之行情数据获取方式续通过开放的方式提供全球股票(A股、港股、美股)、期货(国内期货、国际期货)等历史数据查询及实盘实时行情订阅平台特色:全球大多数行情一次购买即可享受全部数据行情订阅。历史数据可以提供下载服务方便使用云端自定义指数合成能力自定义品种的支持(如不......
  • 零代码搭建一个微信小程序
    本文分享自华为云社区《【新手指引】体验通过AstroZero零代码快速搭建微信小程序》,作者:华为云Astro。您将学会如何基于Astro零代码能力,DIY开发,完成问卷、投票、信息收集、流程处理等工作,还能够在线筛选、分析数据。实现一站式快速开发个性化应用,体验轻松拖拽开发的乐趣。您需......
  • C# 获取Windows系统设备唯一标识方法及代码(Unique Identifier)
    唯一的标识一个设备是一个基本功能,可以拥有很多应用场景,比如软件授权(如何保证你的软件在授权后才能在特定机器上使用)、软件License,设备标识,设备身份识别等。一、网卡MAC地址     MAC地址可能是最常用的标识方法,但是现在这种方法基本不可靠:一个电脑可能存在多个网卡,多个......