- 问题描述
在使用onnxruntime进行模型推理时希望使用GPU进行加速，但运行时出现RuntimeError
具体报错如下：
*************** EP Error ***************
EP Error D:\a_work\1\s\onnxruntime\python\onnxruntime_pybind_state.cc:891 onnxruntime::python::CreateExecutionProviderInstance CUDA_PATH is set but CUDA wasnt able to be loaded. Please install the correct version of CUDA andcuDNN as mentioned in the GPU requirements page (https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirements), make sure they're in the PATH, and that your GPU is supported.
when using ['CUDAExecutionProvider']
Falling back to ['CUDAExecutionProvider', 'CPUExecutionProvider'] and retrying.
2. 解决问题都干了什么
- 首先把cunda安装目录都添加到了path 环境变量里
- 重新安装了onnxruntime-gpu == 1.18.1 # 从原来的1.18.0===》更改为1.18.1，没啥用可能
- 卸载了onnxruntime == 1.18.0 ，运行报了新错误，pydoc.ErrorDuringImport: problem in cosyvoice.flow.flow_matching - ImportError: cannot import name 'InferenceSession' from 'onnxruntime' (unknown location)
- 然后直接安装 onnxruntime-gpu 最新版 ，没有指定版本，默认是1.19.2，成功启动
其他可能有用：
- GPU型号与onnxruntime不兼容：你的显卡是NVIDIA GeForce RTX 4070，可能不在onnxruntime支持的GPU列表中。你可以查看onnxruntime的官方文档，确认你的GPU型号是否被支持。如果不支持，你可能需要降级你的GPU驱动或者更换一个受支持的GPU。
- CUDA\v11.8 + cudnn-windows-x86_64-8.9.7.29 + onnxruntime-gpu == 1.18.1