Кажется, что CUDA не используется, когда я запускаю свою модель.
Любая помощь приветствуется!
2024-07-30 11:14:52.5255821 [E:onnxruntime:Default, provider_bridge_ort.cc:1745 onnxruntime::TryGetProviderInfo_CUDA] D:\a\_work\1\s\onnxruntime\core\session\provider_bridge_ort.cc:1426 ```
onnxruntime::ProviderLibrary::Get [ONNXRuntimeError] : 1 : FAIL : LoadLibrary failed with error 126 "" when trying to load "C:\Users\david\miniconda3\envs\Pose2Sim\lib\site-packages\onnxruntime\capi\onnxruntime_providers_cuda.dll"
2024-07-30 11:14:52.5390456 [W:onnxruntime:Default, onnxruntime_pybind_state.cc:895 onnxruntime::python::CreateExecutionProviderInstance] Failed to create CUDAExecutionProvider. Please reference https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirementsto ensure all dependencies are met.
load C:\Users\david\.cache\rtmlib\hub\checkpoints\yolox_m_8xb8-300e_humanart-c2c7a14a.onnx with onnxruntime backend
Я запускаю Windows 11. Я установил так, но получил ту же ошибку при попытке использовать pytorch с Cuda 12.4.
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install onnxruntime-gpu
Здесь выглядит разумно и соответствует требованиям следующее: https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirements.
import torch; import onnxruntime as ort; print(torch.cuda.is_available(),ort.get_available_providers())
print(f'torch version: {torch.__version__}, cuda version: {torch.version.cuda}, cudnn version: {torch.backends.cudnn.version()}, onnxruntime version: {ort.__version__}')
True ['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'CPUExecutionProvider']
torch version: 2.4.0+cu118, cuda version: 11.8, cudnn version: 90100, onnxruntime version: 1.18.1
Nvidia-smi дает это. Я сомневаюсь, что недостающая информация о питании имеет какое-либо отношение к проблеме, но, вероятно, стоит это отметить, я могу ошибаться.
Обходчик зависимостей от отсутствующей библиотеки дает это. Я предполагаю, что это корень моей проблемы, но я не знаю, что с этим делать.
В конце концов я это получил: я установил pytorch 2.4.0+cu118, который использует cuDNN 9. Однако cuDNN 9 не поддерживается ONNXruntime-gpu 1.18.1+cu11.8, поэтому мне нужно было вместо этого установить pytorch 2.3.1. , который поставляется с cuDNN 8:
pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu118
Полезные ссылки: