模型部署_模型量化、优化、编译、仿真、部署

两种思路

探路--由目前技术看未来-能做什么 ？ 
造路--由目标而开始构建-要做什么 ？

板子

新唐NuMicro™Nano系列为32 位单片机

地平线旭日X3派RDK系列（Horizon Robotics Developer Kits，简称RDK）基于RDK X3（旭日X3派
   TogetheROS.Bot机器人操作系统（简称TROS.B）
   —RDK X3 Module，模组化设计，高度集成，在尺寸、接口上兼容树莓派CM4系列，市场售价319元起
  
地平线征程5（也称Journey5、J5
    算法工具链	  模型算法处理 和 嵌入式模型预测库
	                提供PTQ训练后量化方案和QAT量化感知训练方案- 转换后得到的定点模型配合模型编译工具处理后就可以在地平线计算平台上执行
					 嵌入式模型预测库提供利用定点模型完成推理的系列支持接口
					模型训练/转换、部署、验证、推理等关键步骤 
		OE是Open Explorer的缩写简称，中文名为天工开物（以下简称OE）
    部署：模型量化、优化、编译、仿真、部署、调试
	   训练后量化（PTQ） 和 量化感知训练（QAT）
	   PTQ，即训练后量化方案，先训练浮点模型，然后使用校准图片计算量化参数，将浮点模型转为量化模型的量化方法。
       QAT，即量化感知训练方案，在浮点训练的时候，就先对浮点模型结构进行干预，使得模型能够感知到量化带来的损失，减少量化损失精度的方案
	 模型转换：
       01.原始浮点模型（文中部分地方也称为浮点模型）是指通过TensorFlow/PyTorch等等DL框架训练得到的可用模型，这个模型的计算精度为float32
	     一般是使用float32类型来存储的，每一个权重数据需要占用4个字节，这样才能精确地降loss。
       02.地平线混合异构模型
         地平线BPU架构的计算平台使用的是int8的计算精度（业内计算平台的通用精度），能运行定点量化模型	
         那么从训练出的浮点精度转为定点模型的过程，我们称之为量化。 同时模型量化后能够有效减少模型大小，加速深度学习推理的速度			 
	 ONNX目前主要支持的opset版本是opset10和opset11  
	BPU加速：是指模型在板端推理时，该算子可以通过BPU硬件进行量化加速

点云

目前状况
  center-base Centerpoint
  Voxel-Based(pillar-base) 例如 PointPillars，complex-yolo，VoxelNet
  point-base :PointNet/PointNet++/Point-RCNN

Centerpoint 点云目标检测模型- Centerpoint 
   paper：《Center-based 3D Object Detection and Tracking》（2021CVPR）
   体素化 体素特征提取 中间特征提取 主干网络特征提取 neck特征拼接 多个head

 OpenPCDet系列 |  PointPillars 算法
 BEVDet和BEVFormer里，使用了各种3D detection head（BEVDet用了centerpoint，BEVFormer用了deformable detr）
   
mmdetection   商汤科技(2018 COCO 目标检测挑战赛冠军)和香港中文大学最近开源了一个基于Pytorch实现的深度学习目标检测工具箱mmdetection 
    https://github.com/mit-han-lab/bevfusion	   

参考

https://github.com/HorizonRDK