MACE 是小米公司自研的移动端深度学习框架 Mobile AI Compute Engine,2017年12月15日于公司内部正式发布。2018年6月28日,在“2018(第十三届)开源中国开源世界高峰论坛”上,小米公司人工智能与云平台副总裁崔宝秋博士宣布开源 MACE,赋能中国 AI 产业,以期推动移动端深度学习的发展。
资料
官方手册:https://buildmedia.readthedocs.org/media/pdf/mace/latest/mace.pdf
开源github地址:https://github.com/XiaoMi/mace.git
mace模型库地址:https://github.com/XiaoMi/mace-models.git
LOGO:
架构:
简单总结一下:
1.MACE定义了自己的模型格式,提供工具将各类开源模型转为MACE格式。
2.MACE interpreter是用来解释图的。
3.后端支持DSP,CPU,GPU用来对算子加速,和某单位对我们提出的算子层API一个层面的意思。
GITHUB中的后端代码目录如下:
部署思路大同小异,不过多解释:
MACE SDK的组织方式:
模型格式
MACE 自定义了一种类似 Caffe2 的模型格式。Tensorflow 和 Caffe 训练得到的模型可以转换成 MACE 模型进行部署。MACE 采用 YAML 文件描述模型的部署细节。下一章会给出 YAML 文件的创建方法。
模型转换
目前,我们提供了Tensorflow、Caffe模型到MACE模型的转换工具,未来会支持更多的框架。
模型加载
MACE 模型包含两部分:图(model graph)和参数张量(model parameter tensors)。graph 部分使用 Protocol Buffers 做序列化存储。所有的模型参数张量(model parameter tensors)被串联存储在一个连续的字节数组中,在后续段落中我们称之为张量数据(tensor data)。应该就是类似于darknet那种模型结构和模型权重分开存储的方式,darknet的权重文件也是一个连续的字节数组。
模型可以通过3种方式进行加载:
- model graph 和 tensor data 均在外部动态加载(默认情况下,从文件系统加载,但是用户可以自由选择一些实现方式,例如压缩或加密)。这种方式具有最大的灵活性但是模型的保护性最差。
- model graph 和 tensor data 转换成 C++ 代码并通过执行编译后的代码进行加载。这种方式提供了最强的模型保护措施,是最简单的部署方式。
- model graph 按照方式 2 一样被转换成 C++ 代码,tensor data 按照方式 1 进行外部加载。