- 2024-10-17地平线与英伟达工具链 PTQ 工具功能参数对比与实操
1.理论简介在阅读本文之前,希望大家对PTQ(Post-TrainingQuantization)训练后量化有一定的了解~地平线OpenExplorer和NVIDIATensorRT是两家公司为适配自己的硬件而开发的算法工具链,它们各自具有独特的特点和优势。分开看的时候,网上有很多资料,但却没找到将他们放在一起对比
- 2024-09-05TensorRT量化模型分析(耗时分布可视化等)
文章目录TensorRT量化模型分析一背景二准备工作1.代码准备2.依赖环境三分析过程1.导出模型2.模型形态比对3.转tensorrt序列化文件4.tensorrt序列化文件(即tensorrt模型)分析四其他TIPSTensorRT量化模型分析一背景在TensorRT模型量化
- 2024-09-01天工开物|征程 6 启航新章:量化流程PTQ篇
01 概论:PTQ基础目前在GPU上训练的模型大部分都是浮点模型,即参数使用的是float类型存储。而地平线BPU架构的计算平台使用的是int8的计算精度(业内计算平台的通用精度),能运行定点量化模型。地平线征程6算法工具链(以下简称工具链)作为专业量化工具,是一套完整的边缘计算平
- 2024-07-25量化基本知识点梳理-三种量化方式和量化框架以及trt
这一文档介绍些基础概念吧,权当做一个阶段整理,后面也会慢慢完善。1.量化分类:根据谷歌量化白皮书中定义,分为PTQ和QAT两种,而PTQ又包括两种。3种量化方式:QAT,PTQDynamic,PTQStatic。1)量化感知训练(QuantAwareTraining,QAT):量化训练让模型感知量化运算对模型精度带来的