Ошибка libswscale Параметры среза 0, 1080 недействительны

В небольшом фрагменте кода, который вы разместили, мы видим, что есть проблема. Использование input_frame, input_frame вместо output_frame, input_frame является проблемой.

Замените sws_scale_frame(encoder->sws_ctx, input_frame, input_frame); на:

sws_scale_frame(encoder->sws_ctx, output_frame, input_frame);

При выполнении sws_scale_frame функция проверяет, что размеры и формат ввода и вывода соответствуют размерам и формату, определенным в sws_getContext.
В нашем случае:
Ввод ширины и высоты должен быть 1920 и 1080.
Выходная ширина и высота должны быть 854 и 480.
Когда размеры не совпадают, функция завершается сбоем и возвращает ошибку (возвращает отрицательное значение).
В нашем случае ожидаемая высота вывода — 854, но заданная высота кадра — 1080.

Не знаю, единственная ли это проблема...

Я создал полностью воспроизводимый пример, демонстрирующий использование sws_scale_frame — масштабирование одного кадра.

Пример кода:

extern "C"  //extern "C" is required because we are using C++ code.
{
    #include <libswscale/swscale.h>
}

#include <cassert>


int main()
{
    //Allocate buffer for input frame
    ////////////////////////////////////////////////////////////////////////////
    const int in_width = 1920;
    const int in_height = 1080;
    AVFrame *input_frame = av_frame_alloc();
    input_frame->format = AV_PIX_FMT_YUV420P;
    input_frame->width = in_width;
    input_frame->height = in_height;
    int sts = av_frame_get_buffer(input_frame, 0);
    assert(sts >= 0);

    //Make sure Y,U,V buffers are continuous in memory (this is not part of the solution, we need it only due to the way we are reading the frame from file).
    assert((input_frame->linesize[0] == in_width) && (input_frame->linesize[1] == in_width/2) && (input_frame->linesize[2] == in_width/2));
    ////////////////////////////////////////////////////////////////////////////

    //Read input_frame from binary file: input_frame.bin
    //The binary file was created using FFmpeg CLI (for testing):
    //ffmpeg -y -f lavfi -i testsrc=size=1920x1080:rate=1 -vcodec rawvideo -pix_fmt yuv420p -frames 1 -f rawvideo input_frame.bin
    ////////////////////////////////////////////////////////////////////////////
    FILE *f = fopen("input_frame.bin", "rb");
    assert(f != nullptr);
    fread(input_frame->data[0], 1, in_width*in_height, f);      //Read Y channel
    fread(input_frame->data[1], 1, in_width*in_height/4, f);    //Read U channel
    fread(input_frame->data[2], 1, in_width*in_height/4, f);    //Read V channel
    fclose(f);
    ////////////////////////////////////////////////////////////////////////////


    //Allocate buffer for output frame
    ////////////////////////////////////////////////////////////////////////////
    const int out_width = 854;
    const int out_height = 480;
    AVFrame *output_frame = av_frame_alloc();
    output_frame->format = AV_PIX_FMT_YUV420P;
    output_frame->width = out_width;
    output_frame->height = out_height;
    sts = av_frame_get_buffer(output_frame, 0);
    assert(sts >= 0);

    //Make sure Y,U,V buffers are continuous in memory (this is not part of the solution, we need it only due to the way we are writing the frame to file).
    //assert((output_frame->linesize[0] == out_width) && (output_frame->linesize[1] == out_width/2) && (output_frame->linesize[2] == out_width/2));
    ////////////////////////////////////////////////////////////////////////////


    //Allocate SwsContext
    ////////////////////////////////////////////////////////////////////////////
    SwsContext *sws_ctx = sws_getContext(input_frame->width,
                                         input_frame->height,
                                         (AVPixelFormat)input_frame->format,
                                         output_frame->width,
                                         output_frame->height,
                                         (AVPixelFormat)output_frame->format,
                                         SWS_BICUBIC,
                                         nullptr,
                                         nullptr,
                                         nullptr);
    assert(sws_ctx != nullptr);
    ////////////////////////////////////////////////////////////////////////////

    //Scale 1920x1080 input_frame and store the result in 854x480 output_frame.
    ////////////////////////////////////////////////////////////////////////////
    //sts = sws_scale_frame(sws_ctx, input_frame, input_frame);  //Return error code -22 "Slice parameters 0, 1080 are invalid" (input_frame, input_frame is a bug).
    sts = sws_scale_frame(sws_ctx, output_frame, input_frame);
    
    if (sts < 0)
    {
        char errbuf[AV_ERROR_MAX_STRING_SIZE];
        av_strerror(sts, errbuf, sizeof(errbuf));
        fprintf(stderr, "sws_scale_frame error: %s\n", errbuf);
        return -1;
    }
    ////////////////////////////////////////////////////////////////////////////


    //Write output_frame to binary file - write line by line because output_frame channels are not continuous in memory
    //After saving the output, we may convert it to PNG image using FFmpeg CLI (for testing):
    //ffmpeg -y -f rawvideo -video_size 854x480 -pixel_format yuv420p -i output_frame.bin output_frame.png
    ////////////////////////////////////////////////////////////////////////////
    f = fopen("output_frame.bin", "wb");
    assert(f != nullptr);

    // Writing line by line
    for (int y = 0; y < output_frame->height; y++)
    {
        fwrite(output_frame->data[0] + (size_t)y * output_frame->linesize[0], 1, output_frame->width, f);  //Write Y channel (line by line).
    }
    for (int y = 0; y < output_frame->height/2; y++)
    {
        fwrite(output_frame->data[1] + (size_t)y * output_frame->linesize[1], 1, output_frame->width/2, f);  //Write U channel (line by line).
    }
    for (int y = 0; y < output_frame->height/2; y++)
    {
        fwrite(output_frame->data[2] + (size_t)y * output_frame->linesize[2], 1, output_frame->width/2, f);  //Write V channel (line by line).
    }
    fclose(f);
    ////////////////////////////////////////////////////////////////////////////


    //Free allocated resources.
    ////////////////////////////////////////////////////////////////////////////
    sws_freeContext(sws_ctx);
    av_frame_free(&input_frame);
    av_frame_free(&output_frame);
    ////////////////////////////////////////////////////////////////////////////

    return 0;
}

Выходное изображение после преобразования из YUV420p в изображение PNG (уменьшенное):