Jestson Nano上基于openvino推理

intel NCS2计算棒是由openvino支持的，但是目前openvino只有2022.3.1版本支持NCS2了，之后的版本都不支持计算棒了。

本文记录一下再NVIDIA Jetson Nano上用openvino实现NCS2的调用。
通过交叉编译openvino samples，通过benchmark app实现模型推理。

环境配置

1. openvino归档文件，可以再这个链接上下载

   

   然后解压

   wget https://storage.openvinotoolkit.org/repositories/openvino/packages/2022.3.1/linux/l_openvino_toolkit_debian9_2022.3.1.9227.cf2c7da5689_arm64.tgz
   
   tar -zxvf l_openvino_toolkit_debian9_2022.3.1.9227.cf2c7da5689_arm64.tgz
   

2. 安装openvino依赖

   cd l_openvino_toolkit_debian9_2022.3.1.9227.cf2c7da5689_arm64/install_dependencies
   sudo -E ./install_openvino_dependencies.sh
   

3. 确保一个python 3.7或者3.9版本

4. 确保cmake版本高于3.13，否则会报错。Jetson Nano上的cmake只有3.10，我手动安装了一个

编译openvino samples

直接进入samples/cpp，直接在板子上编译太慢了，幸好项目不大。

export PATH=/home/yanghuan/Downloads/cmake-3.28.0-rc1-linux-aarch64/bin:$PATH
export LD_LIBRARY_PATH=/home/yanghuan/Downloads/l_openvino_toolkit_debian9_2022.3.1.9227.cf2c7da5689_arm64/runtime/lib/aarch64:$LD_LIBRARY_PATH
cd l_openvino_toolkit_debian9_2022.3.1.9227.cf2c7da5689_arm64/samples/cpp
./build_samples.sh -i bin/ -b build/

这样在bin/目录下就是可执行文件了。

配置NCS2

这里参考官网文档

最后重启插上NCS2。

export LD_LIBRARY_PATH=/home/yanghuan/Downloads/l_openvino_toolkit_debian9_2022.3.1.9227.cf2c7da5689_arm64/runtime/lib/aarch64:$LD_LIBRARY_PATH
cd ~/Downloads/l_openvino_toolkit_debian9_2022.3.1.9227.cf2c7da5689_arm64/samples/cpp/bin/samples_bin
# 查询设备
 ./hello_query_device

测试模型延迟

这里提交一个mobilenetv2的模型试试

1. NCS2推理

   ./benchmark_app \
   -m /home/yanghuan/Downloads/mobilenet_v2.onnx \
   -d MYRIAD \
   -b 1 \
   -shape [1,3,256,256] \
   -hint latency \
   -niter 10
   

   

2. CPU推理

   ./benchmark_app \
   -m /home/yanghuan/Downloads/mobilenet_v2.onnx \
   -d CPU \
   -b 1 \
   -shape [1,3,256,256] \
   -hint latency \
   -niter 10
   -nthreads 2