以DenseNet为例进行AI算法部署集成
AI越用越广，但落地使用的时候各种bug多多，这里提供一些离线集成的导引方便大家学习，后面也会尝试更新一些web api的集成方式，请期待后续的博客
简单性能表格
下列表格为一些简单的部署数据搜集，通过部署器进行离线集成，可以看到可以大大降低资源的消耗，但不一定会加快速度，Python仍然是AI的主流，在算法性能优化上可以使用到各种机构提供的优化算法，在CPP端自行实现时，很可能找不到对应的实现方式或难以集成
所以下列导引中，提出了Python以及CPP两种离线集成方式，在Python端Pyside6, PyQt在小项目中也是十分好用，如果项目需求不严格应当选择生态最好的Python进行集成
| 测试条目 | 时间消耗 | 内存消耗 | 显存消耗 |
|---|---|---|---|
| Densenet121-5 | - | - | - |
| 仅运算(python) | 0.063s | - | 1442MB |
| openvino-cpu-debug | 0.163s | 205MB | - |
| tensorrt-gpu-debug | 0.124s | - | 192MB |
OpenVINO Python集成导引
OpenVINO Qt集成导引
- Cpp DenseNet OpenVino导出
- Cpp DenseNet OpenVino测试
- Cpp DenseNet OpenVino环境配置
- Cpp DenseNet OpenVino CMake工程
- Cpp DenseNet OpenVino辅助函数
- Cpp DenseNet OpenVino部署主体
Tensorrt Qt集成导引
- Cpp DenseNet Tensorrt导出
- Cpp DenseNet Tensorrt测试
- Cpp DenseNet Tensorrt环境配置
- Cpp DenseNet Tensorrt CMake工程
- Cpp DenseNet Tensorrt辅助函数
- Cpp DenseNet Tensorrt部署主体