Почему видеозапись opencv такая медленная?

-------- старый - ищите ответ внизу --------

Спасибо @Micka за многочисленные советы, я нашел то, что нужно.

Использование cudacodec::VideoWriter не так просто, после компиляции я не смог его использовать из-за этой ошибки, и даже если я смогу запустить его, на ПК для развертывания нет графического процессора nvidia.

Поскольку я также собираюсь использовать ПК с процессорами AMD, я не могу использовать cv::CAP_INTEL_MFX в качестве параметра api-reference для cv::VideoWriter. Но есть еще cv::CAP_OPENCV_MJPEG, который отлично работает с кодеком MJPG (поддерживаются не все видеоконтейнеры, я использую .avi, к сожалению, .mkv не работал с этой конфигурацией). Если пользователь не использует MJPG в качестве кодека, я использую cv::CAP_ANY, а opencv решает, что использовать.

Так,

cv::VideoWriter videoWriter(path, cv::CAP_OPENCV_MJPEG, fourcc, fps, *size);

работает довольно хорошо, даже на моей старой системе.

К сожалению, я никогда раньше не менял параметр api-reference, только с ffmpeg на gstreamer, я прочитал в документе opencv только последнюю строку «cv::CAP_FFMPEG или cv::CAP_GSTREAMER». и я не видел, что есть "например" до... Спасибо, @Micka, что заставил меня снова читать.

P.S. для моей проблемы с производительностью с cv:: imshow я изменился с

cv::namedWindow(WINDOW_NAME, cv::WINDOW_NORMAL);

к

cv::namedWindow(WINDOW_NAME, cv::WINDOW_OPENGL);

Который, очевидно, использует OpenGL и работает лучше. Также переход с cv::Mat на cv::UMat может повысить производительность, см. здесь

-------------- РЕДАКТИРОВАТЬ лучшее решение ----------------

Поскольку у меня все еще были проблемы с OpenCV VideoWriter для некоторых систем, я искал другое решение. Теперь я пишу кадры с помощью FFMPEG. Для FFMPEG я могу использовать GPU или CPU в зависимости от используемого кодека. Если FFMPEG установлен через snapd (Ubuntu 18.04), по умолчанию cuda включена:

sudo snap install ffmpeg --devmode

(--devmode является необязательным, но у меня были проблемы с записью файлов в определенное место, это был единственный способ исправить это)

И вот мой код:

//this string is automatically created in my program, depending on user input and the parameters of the input frames

string ffmpegCommand = "ffmpeg -y -f rawvideo -vcodec rawvideo -framerate 50 -pix_fmt bgr24 -s 1920x1080 -i - -c:v h264_nvenc -crf 14 -maxrate:v 10M -r 50 myVideoFile.mkv";

FILE *pipeout = popen(ffmpegCommand.data(), "w");

int id = metaDataWriter.insertNow(path);

//loop will be stopped from another thread
while (this->isRunning) {
    //this->frames is a stack with cv::Mat elements in the right order
    //it is filled by another thread
    while (!this->frames.empty()) {


        cv::Mat mat = frames.front();
        frames.pop();
        fwrite(mat.data, 1, s, pipeout);

    }  
}

fflush(pipeout);
pclose(pipeout);

Таким образом, файл (pipeout) используется для записи mat.data в ffmpeg, сам ffmpeg выполняет кодирование и запись файла. К параметрам:

-y = перезаписывать выходные файлы без запроса

-f = формат, в данном случае используется для ввода rawvideo

-vcodec = кодек для ввода, который также является необработанным видео, потому что используемый cv::Mat.data не имеет сжатия/кодека

-framerate = входная частота кадров, которую я получаю от моей карты захвата/OpenCv

-pix_fmt = формат моих необработанных данных, в данном случае bgr24, поэтому 8 бит на каждый канал, потому что я использую обычный OpenCV bgr cv::Mat

-s = размер каждого кадра, в моем случае 1920x1080

-i = ввод, в данном случае мы читаем из stdinput вы можете видеть здесь "-", значит файл (pipeout) захватывается ffmpeg

-c:v = кодек вывода, так что это для кодирования видео, здесь используется h264_nvenc, который является кодеком GPU

-r = скорость вывода кадров, также 50 в данном случае myVideoFile.mkv = это просто имя файла, который создается ffmpeg, вы можете изменить этот файл и путь

Дополнительные параметры для повышения качества: -crf 14 -maxrate:v 10M

Это работает очень хорошо для меня и использует мое аппаратное ускорение графического процессора или с другим кодеком, отвечающим за процессор. Я надеюсь, что это поможет и другим разработчикам.