【模型部署】在C++和Python中配置ONNXRuntime环境

1. C++端配置

官网下载链接：https://onnxruntime.ai/

github下载地址：https://github.com/microsoft/onnxruntime/releases

1.1 GPU版本

在GPU端使用OnnxRuntime进行推理时，需要提前安装对应版本的CUDA和cuDNN。

登录ONNXRuntime官网，按如下步骤下载ONNXRuntime_GPU版本源文件microsoft.ml.onnxruntime.gpu.1.12.1.nupkg，然后使用7zip工具进行解压

也可以在github上边直接下载编译好的包

 在VS中配置过程如下

在【属性管理器】-【通用属性】-【VC++目录】-【包含目录】添加路径

　　D:\DeepLearningTools\microsoft.ml.onnxruntime.1.12.1\build\native\include

在【属性管理器】-【通用属性】-【VC++目录】-【库目录】添加路径

　　D:\DeepLearningTools\microsoft.ml.onnxruntime.1.12.1\runtimes\win-x64\native

在【属性管理器】-【链接器】-【输入】-【附加依赖项】添加文件

　　onnxruntime.lib

最后，将onnxruntime.dll文件放在程序运行目录Release下边，或者将该文件根目录添加至Path环境变量

1.2 CPU版本

CPU版本的安装配置同上 

2. Python端配置

onnx

pip install onnx==1.12.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

onnxruntime

pip install onnxruntime==1.12.1 -i https://pypi.tuna.tsinghua.edu.cn/simple　

onnxruntime-gpu

pip install onnxruntime-gpu==1.12.1 -i https://pypi.tuna.tsinghua.edu.cn/simple