常见神经网络模型所用的 Tensor 数据类型 一般是 float32 类型， 而工业界出于对特定场景的需求（极少的计算资源，极致的推理速度），需要把模型的权重和或激活值转换为位数更少的数值类型（比 int8, float16） —— 整个过程被称为量化（Quantization）。
通常以浮点模型为起点，经过中间的量化处理后最终变成量化模型，在这个过程中一般会导致模型掉点。
目前业界缓解模型掉点的问题的技术主要有两种，在 MegEngine 中都进行了支持：
- 训练后量化（Post-Training Quantization, PTQ）；
- 量化感知训练（Quantization-Aware Training, QAT）。
更多量化基本流程：量化基本流程介绍
整体流程
以量化感知训练为例，一般以一个训练完毕的浮点模型为起点，称为 Float 模型。 包含假量化算子的用浮点操作来模拟量化过程的新模型，我们称之为 Quantized-Float 模型，或者 QFloat 模型。 可以直接在终端设备上运行的模型，称之为 Quantized 模型，简称 Q 模型。
而三者的精度一般是 Float > QFloat > Q ，故而一般量化算法也就分为两步：
- 拉近 QFloat 和 Q，这样训练阶段的精度可以作为最终 Q 精度的代理指标，这一阶段偏工程；
- 拔高 QFloat 逼近 Float，这样就可以将量化模型性能尽可能恢复到 Float 的精度，这一阶段偏算法。
典型的三种模型在三个阶段的精度变化如下：
对应到具体的 MegEngine 接口中，三阶段如下：
- 基于 Module 搭建网络模型，并按照正常的浮点模型方式进行训练；
- 使用 quantize_qat 将浮点模型转换为 QFloat 模型， 其中可被量化的关键 Module 会被转换为 QATModule ， 并基于量化配置 QConfig 设置好假量化算子和数值统计方式；
- 使用 quantize 将 QFloat 模型转换为 Q 模型， 对应的 QATModule 则会被转换为 QuantizedModule ， 此时网络无法再进行训练，网络中的算子都会转换为低比特计算方式，即可用于部署了。
此处为标准量化流程，实际使用时也可有灵活的变化。
ResNet 实例讲解 下面我们以 ResNet18 为例来讲解量化的完整流程。主要分为以下几步：
- 修改网络结构，使用已经融合好的 ConvBn2d、ConvBnRelu2d、ElementWise 代替原先的 Module. 在正常模式下预训练模型，并在每轮迭代保存网络检查点；
- 调用 quantize_qat 转换模型，并进行量化感知训练微调（或校准，取决于 QConfig）；
- 调用 quantize 转换为量化模型，导出模型用于后续模型部署。
详细操作指南文档见：ResNet 实例讲解
附：
「MegEngine 使用小技巧」系列文章，重点输出 MegEngine 及周边工具的使用技巧，如有催更或投稿，欢迎联系我们哦～
标签：技巧,训练,模型,Float,MegEngine,量化,QFloat From： https://blog.51cto.com/u_15847528/6224806