四. TensorRT模型部署优化-quantization(calibration)

目录

• • 前言
  • 0. 简述
  • 1. 校准
  • 2. calibration dataset
  • 3. calibration algorithm
  • 4. 如何选择calibration algorithm
  • 5. calibration dataset与batch size的关系
  • 总结
  • 参考

前言

自动驾驶之心推出的 《CUDA与TensorRT部署实战课程》，链接。记录下个人学习笔记，仅供自己参考

本次课程我们来学习课程第四章—TensorRT 模型部署优化，一起来学习 calibration 校准算法

课程大纲可以看下面的思维导图

0. 简述

本小节目标：理解 calibration 的作用，不同 calibration algorithm 的不同点，以及什么时候使用哪种算法，calibration 与 batch size 的关系

这节课我们来学习第四章节量化的第三小节—calibration（校准），大家如果做过 PTQ 量化可能对这个词比较熟悉，不同的 calibration 算法所表现出来量化精度是不同的，它与网络模型的架构是有关系的。那大家可能会想我们针对不同的模型使用哪一种 calibration 算法比较好呢，另外我们在做 Calibration 的时候我们要选择一个 batch size，那 calibration 和 batch size 的关系又是怎么去选择的呢，它跟模型的鲁棒性关系大不大呢，是不是 batch size 越大越好呢？

我们这个小节就来给大家解答下这些问题