Декодирование в определенный формат пикселей в ffmpeg с помощью С++

1. Это зависит. Во-первых, H264 — это просто стандарт кодека. Хотя libx264 или openh264 реализуют этот стандарт, вы можете догадаться, что каждая реализация поддерживает разные форматы. Но давайте предположим (как вы сделали в своем вопросе), что вы используете одну и ту же реализацию на разных машинах, тогда да, могут быть случаи, когда разные машины поддерживают разные форматы. Возьмем, к примеру, H264_AMF. Для использования кодека вам понадобится видеокарта AMD, а поддерживаемые форматы также будут зависеть от вашей видеокарты.
2. Декодирование обычно происходит на вашем процессоре, если вы явно не укажете аппаратный декодер. См. этот пример аппаратного декодирования: https://github.com/FFmpeg/FFmpeg/blob/release/4.1/doc/examples/hw_decode.c
   При использовании аппаратного декодирования вы сильно полагаетесь на свой компьютер. И каждый аппаратный кодировщик будет выводить свой собственный (собственный) формат кадра, например. NV12 для видеокарты Nvida. Теперь самое сложное. Закодированные кадры останутся в памяти вашего графического процессора, что означает, что вы можете повторно использовать буфер avframe для преобразования пикселей с помощью OpenCL/GL. Но добиться нулевого копирования GPU при работе с разными фреймворками не так просто, и у меня недостаточно знаний, чтобы помочь вам в этом. Итак, что я бы сделал, так это загрузил декодированный кадр из графического процессора через av_hwframe_transfer_data, как в примере. С этого момента не имеет большого значения, использовали ли вы аппаратное или программное декодирование.
3. Насколько мне известно, sws_scale не использует аппаратное ускорение. Поскольку он не принимает «hwframes». Если вы хотите выполнить преобразование цвета на аппаратном уровне, вы можете взглянуть на OpenCV, вы можете использовать GPUMat там, затем загрузить свой кадр, вызвать cvtColor и загрузить его снова.

Некоторые общие замечания:
Почти любое масштабирование операций с изображениями и т. д. выполняется быстрее на вашем графическом процессоре, но загрузка и выгрузка данных может занять целую вечность. Для одиночных операций часто не стоит использовать ваш GPU.
В вашем случае я бы попытался сначала поработать с декодированием процессора и преобразованием цвета процессора. Просто убедитесь, что вы используете многопоточные и векторизованные алгоритмы, такие как OpenCV или Intel IPP. Если вам все еще не хватает производительности, вы можете подумать об аппаратном ускорении.