1、”PTQ
Post Training Quantization
是训练后量化,也叫做离线量化,根据量化零点 xzero_pointxzero_point 是否为 0
,训练后量化分为对称量化和非对称量化;根据数据通道顺序 NHWC
(TensorFlow) 这一维度区分,训练后量化又分为逐层量化和逐通道量化。目前 nvidia
的 TensorRT
框架中使用了逐层量化的方法,每一层采用同一个阈值来进行量化。逐通道量化就是对每一层每个通道都有各自的阈值,对精度可以有一个很好的提升。“
参考资料
一文搞懂模型量化基础-云社区-华为云 (huaweicloud.com)
标签:阈值,训练,模型,逐层,量化,通道 From: https://www.cnblogs.com/xzit201802/p/17878103.html