PTQ
  • 2024-09-05TensorRT量化模型分析(耗时分布可视化等)
    文章目录TensorRT量化模型分析一背景二准备工作1.代码准备2.依赖环境三分析过程1.导出模型2.模型形态比对3.转tensorrt序列化文件4.tensorrt序列化文件(即tensorrt模型)分析四其他TIPSTensorRT量化模型分析一背景​在TensorRT模型量化
  • 2024-09-01天工开物|征程 6 启航新章:量化流程PTQ篇
    01 概论:PTQ基础目前在GPU上训练的模型大部分都是浮点模型,即参数使用的是float类型存储。而地平线BPU架构的计算平台使用的是int8的计算精度(业内计算平台的通用精度),能运行定点量化模型。地平线征程6算法工具链(以下简称工具链)作为专业量化工具,是一套完整的边缘计算平
  • 2024-07-25量化基本知识点梳理-三种量化方式和量化框架以及trt
    这一文档介绍些基础概念吧,权当做一个阶段整理,后面也会慢慢完善。1.量化分类:根据谷歌量化白皮书中定义,分为PTQ和QAT两种,而PTQ又包括两种。3种量化方式:QAT,PTQDynamic,PTQStatic。1)量化感知训练(QuantAwareTraining,QAT):量化训练让模型感知量化运算对模型精度带来的