Чрезвычайно высокая загрузка ЦП при обучении модели на графическом процессоре

Недавно я обнаружил кое-что довольно странное с проектом, над которым уже довольно давно работаю. Модель, которая у меня есть, довольно обычна: свёртка с несколькими полносвязными слоями. Для загрузки данных я использую tf.data API, но то же самое происходит с кодом на основе очередей, который у меня был до переноса на tf.data. Через несколько часов после начала обучения модели загрузка ЦП возрастает до очень высокого уровня, 1500–2000%, как сообщает утилита htop. И в начале обучения все нормально, основной процесс показывает только около 200% загрузки ЦП. Прилагается снимок экрана с выходными данными htop, и еще одна вещь, вызывающая беспокойство, - это все дочерние процессы, которые также имеют довольно высокую нагрузку на ЦП.

Я использую tenorflow-gpu версии 1.11, работаю на NVIDIA Tesla V100. Я почти уверен, что модель работает на графическом процессоре, а не на процессоре: nvidia-smi показывает, что графический процессор занят примерно на 70%.

Очевидно, я не могу спросить точную причину этого, и было бы трудно разделить проблему до воспроизводимого тестового примера. Однако, возможно, вы могли бы указать мне на некоторые методы отладки, которые применимы в таком случае.