Может ли GPU поддерживать несколько заданий без задержки?
Итак, я запускаю работу по глубокому обучению PyTorch с использованием графического процессора. но работа довольно легкая.
У моего графического процессора 8 ГБ, но задание использует только 2 ГБ. Также GPU-Util близок к 0%.
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 GeForce GTX 1080 Off | 00000000:01:00.0 On | N/A |
| 0% 36C P2 45W / 210W | 1155MiB / 8116MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
на основе GPU-Util и памяти я мог бы поместиться еще на 3 рабочих места.
Однако я не уверен, повлияет ли это на общее время выполнения.
Если я запускаю несколько заданий на одном графическом процессоре, влияет ли это на общее время выполнения?
Я думаю, что попробовал один раз, и я думаю, что была задержка.
Ответы 1
Да, ты можешь. Одним из вариантов является использование многопроцессорной службы NVIDIA (MPS) для запуска четырех копий вашей модели на одной карте.
Это лучшее описание, которое я нашел о том, как это сделать: Как использовать Nvidia Multi-process Service (MPS) для запуска нескольких приложений CUDA, отличных от MPI?
Если вы используете свою карту только для логического вывода, вы можете разместить несколько моделей (копий или разных моделей) на одной карте, используя Служба логических выводов TensorRT NVIDIA.
Я очень расстроен тем, что мне нужно сделать что-то явное, чтобы заставить его работать, но я думаю, что это единственный вариант. Спасибо