PyQt QGraphicsScene Рендеринг сцены в формате видео

Я думаю, что проблема, с которой вы столкнетесь при нынешнем подходе (снимок экрана пользовательского интерфейса для создания аннотированного видео), заключается в том, что вы, скорее всего, потеряете исходное разрешение видео (скажем, если оно 1080p, но отображается в кадре пользовательского интерфейса 300x400, тогда вы закончите с видео 300x400, а не 1080p).

Лучшим подходом IMO является создание текстового изображения (PNG) с прозрачным фоном в FFmpeg (или любым другим способом) с соответствующим разрешением кадра (например, 1080p в моем примере) и загрузка каждого из таких изображений в QGraphicScene как QGraphicItem ( который, как я полагаю, можно перетаскивать, чтобы изменить положение).

Это даст вам фоновое видео и несколько текстовых изображений с указанием времени их отображения и смещения положения. Затем FFmpeg может объединить эти файлы вместе.

Чтобы сгенерировать текстовый PNG, вы можете запустить

import subprocess as sp

video_size = [1920, 1080]
text = "hello world"
color = "black"
fontsize = 30
fontfile = "Freeserif.ttf"

textfile = "temp_01.png" # place it in a temp folder & increment

sp.run(
    [
        "ffmpeg",
        "-f", "lavfi",
        "-i", f"color=c = {color}@0:size = {video_size[0]}x{video_size[1]},format=rgba",
        "-vf", f'drawtext=fontsize = {fontsize}:fontfile = {fontfile}:text=\'{text}\':x=(w-text_w)/2:y=(h-text_h)/2',
        "-update", "1", "-vframes", "1",
        "-y", # if needed to overwrite old
        textfile,
    ]
)

Этот скрипт создает PNG с надписью «Hello World» в центре экрана. Допустим, мы хотим поместить этот текст между временными метками 1 и 2 секунды видео с заданным пользователем смещением [-200px,100px] (в направлении нижнего левого угла).

text_start = 1
text_end = 2
text_xoff = -200
text_yoff = 100

videofile = "example.mp4"
outfile = "annotated.mp4"

sp.run(
    [
        "ffmpeg",
        "-i", videofile,  # [0:v]
        "-i", textfile,  # [1:v]
        "-filter_complex", f"[0:v][1:v]overlay=x = {text_xoff}:y = {text_yoff}:enable='between(t,{text_start},{text_end})'[out]",
        "-map", "[out]",
        '-y', # again, if need to overwrite previous output
        outfile,
    ]
)

Если у вас есть несколько текстовых изображений для наложения, вам необходимо указать все текстовые файлы в качестве дополнительных входных данных (-i ...) и каскадно запустить фильтры наложения:

[0:v][1:v]overlay=...[out1];
[out1][2:v]overlay=...[out2];
...
[outN][N:v]overlay=...[out]

Очевидно, вы хотите сгенерировать выражение графа фильтра программным способом.

Вот ссылки на используемые фильтры цвет , формат , drawtext , наложение. Ознакомьтесь с этими фильтрами и конструкцией графа фильтров в целом (см. верхнюю часть связанной страницы документа), особенно обратите внимание на экранирование символов. (подсказка: поместите текст в одинарные кавычки и избегайте одинарных кавычек в наложенном тексте)

Примечания

• если текст слишком длинный, он обрезается за пределы видеокадра
• как только вы запустите этот механизм, вы сможете проверить, могут ли Qt использовать передаваемые по конвейеру данные PNG. FFmpeg поддерживает кодирование base64 с использованием протокола данных.
• overlay фильтр поддерживает перемещение текстового изображения во времени, поэтому его можно анимировать, но отображение анимации на Qt было бы затруднительно
• Я думаю, что существует ограничение на длину команды подпроцесса. Таким образом, при таком подходе вы можете достичь предела, особенно если вы кодируете данные PNG.

Я не знаком с Qt-концом бизнеса. Итак, я оставлю это вам.

Не стесняйтесь задавать вопросы в разделе комментариев.

Исправление, которое я нашел, не использует PyQt для основного экспорта видео, а использует только FFMPEG. Я знал, что FFMPEG не поддерживает формат Rich Text Format (RTF), поэтому начал искать другие возможные способы решения этой проблемы. Я обнаружил, что вы можете использовать формат файла под названием Advanced SubStation Alpha (.ASS), который позволяет вам контролировать все, что угодно. делать с текстом, например шрифт, размер, цвет, время начала/окончания и многое другое.

При использовании .ASS вам необходимо убедиться, что вы правильно форматируете файл .ASS, иначе FFMPEG может не записать субтитры так, как вы хотите. Вам также понадобится текст, который вы хотите отобразить в видео, в формате HTML, что можно сделать с помощью pyqt text.toHtml().

Когда у вас есть путь к местоположению текстовой версии HTML, вам также понадобятся размер/цвет обводки и начало/конец текста. Вы также можете отредактировать его, включив в него положение текста. Вам придется вызвать функцию с исходным видео.

from bs4 import BeautifulSoup
import subprocess, sys
from PySide6.QtCore import *
from PySide6.QtWidgets import *

class videoExport(QThread):
    def __init__(self, text_and_stroke, video_location):
        super().__init__()
        self.text_and_stroke = text_and_stroke
        self.video_location = video_location

    def run(self):
        dialogues = []

        for html_file_path, pos_x, pos_y, stroke_size, stroke_color, start, end in self.text_and_stroke:
            with open(html_file_path, 'r') as file:
                html_content = file.read()
                
            soup = BeautifulSoup(html_content, 'html.parser')
            body_tag = soup.find('body')


            if body_tag:
                self.styles_attributes = self.retrieve_text_style(body_tag.get('style'))
                text_style = self.text_styles(soup, stroke_size, stroke_color)

                self.styles_attributes = ",".join(self.styles_attributes)
                text_style = "".join(text_style)

                new_dialogue = f"""Dialogue: {start},{end},Default,{{\pos({pos_x},{pos_y})}}{text_style}"""
                dialogues.append(new_dialogue)

            file.close()


        create_ass_file = f"""[Script Info]
Title: Video Subtitles
ScriptType: v4.00+
Collisions: Normal
PlayDepth: 0

[V4+ Styles]
Format: Name, Fontname, Fontsize, PrimaryColour, SecondaryColour, OutlineColour, BorderStyle, Encoding
Style: Default, {self.styles_attributes},&HFFB0B0,&HFFFF00,&H998877,0,0
Style: Background, {self.styles_attributes},&H00FFFFFF,&H000000FF,&H00000000,3,0

[Events]
Format: Start, End, Style, Text
"""
        
        for dialogue in dialogues:
            create_ass_file += f"{dialogue}\n"

        with open("new_ass.ass", 'w') as file:
            file.write(create_ass_file)

        file.close()

        self.add_subtitle_to_video(self.video_location, "new_ass.ass")

    
    def add_subtitle_to_video(self, video_file, ass_file):
        video_text = [
            "ffmpeg",
            "-y",
            "-i", video_file,
            "-vf", f"subtitles = {ass_file}",
            "-c:a", "copy",
            "output.mp4"
        ]
        process = subprocess.Popen(video_text, stdout=subprocess.PIPE, stderr=subprocess.STDOUT,universal_newlines=True)


    # ADDS ANY TEXT STYLE TO THE TEXT
    # ///////////////////////////////////////////////////////////////

    def text_styles(self, soup, stroke_size, stroke_color):
        text_styles = []
        paragraph = soup.find_all('p')
        span_elements = soup.find_all('span')

        if paragraph:
            for paragraph_element in paragraph:
                for content in paragraph_element.contents:
                    if isinstance(content, str):
                        written_text = content.strip()
                        text_styles.append(written_text)


        if span_elements:

            for span in span_elements:

                style_attr = span.get('style')
                style_and_name = style_attr.split(';')

                # Initialize variables to hold style modifications
                italic_str = underline_str = ""
                color_str = background_color_str = text_stroke = ""
                font_weight_str = font_size_str = ""
                font_family_str = ""

                for text in style_and_name:
                    if ':' in text:
                        style = text.split(':')[0].strip()
                        style_name = text.split(':')[1].strip().replace("'", '')

                        if stroke_size > 0:
                            stroke_color = stroke_color.replace('#', '')
                            red = int(stroke_color[0:2], 16)
                            green = int(stroke_color[2:4], 16)
                            blue = int(stroke_color[4:6], 16)
                            text_stroke = f"\\bord{stroke_size}\\3c&H{blue:02X}{green:02X}{red:02X}&"

                        # Modify text based on style
                        if style_name == 'italic':
                            italic_str = "{\\i1}"

                        elif style_name == 'underline':
                            underline_str = "{\\u1}"

                        elif style == 'color':
                            hex_color = style_name.replace('#', '')
                            red = int(hex_color[0:2], 16)
                            green = int(hex_color[2:4], 16)
                            blue = int(hex_color[4:6], 16)
                            color_str = f"\\c&H{blue:02X}{green:02X}{red:02X}&"

                        elif style == 'background-color' and stroke_size <= 0:
                            hex_color = style_name.replace('#', '')
                            red = int(hex_color[0:2], 16)
                            green = int(hex_color[2:4], 16)
                            blue = int(hex_color[4:6], 16)
                            background_color_str = f"\\rBackground\\bord1\\3c&H{blue:02X}{green:02X}{red:02X}&"

                        elif style == 'font-weight':
                            font_weight_str = "{\\b1}"

                        elif style == 'font-size':
                            font_size = style_name.replace('pt', '')
                            font_size_str = f"\\fs{font_size}"
                        
                        elif style == 'font-family':
                            font_family_str = f"\\fn{style_name}"

                        
                        # Combine all style modifications
                        text_style = "{" + text_stroke + background_color_str + color_str + italic_str + underline_str + font_size_str + font_family_str + font_weight_str + "}"  
                        text_with_styles = f"{text_style}{span.text.strip()}{{\\r}}"
            
                # Append modified text to the list
                text_styles.append(text_with_styles)

        return text_styles
    

    # Retrive the basic text style attributes
    # ///////////////////////////////////////////////////////////////

    def retrieve_text_style(self, style_attr):
        style_and_name = style_attr.split(';')
        style_attributes = []
        
        for text in style_and_name:
            if ':' in text:
                style_name = text.split(':')[1].strip().replace("'", '')
                if 'pt' in style_name:
                    style_name = style_name.replace('pt', '')
                    style_attributes.append(style_name)
                    break
                
                style_attributes.append(style_name)
        
        return style_attributes
    

class MainWindow(QMainWindow):
    def __init__(self):
        super().__init__()

        self.setWindowTitle("Video Exporter")

        self.export_button = QPushButton("Export Video")
        self.export_button.clicked.connect(self.export_video)

        layout = QVBoxLayout()
        layout.addWidget(self.export_button)

        central_widget = QWidget()
        central_widget.setLayout(layout)
        self.setCentralWidget(central_widget)

    def export_video(self):
        text_and_stroke = [("new_subtitle.html", "0", "0", 10, "#FFFFFF", "0:00:00.00", "0:00:05.00")]
        self.export_thread = videoExport(text_and_stroke, "other.mp4")
        self.export_thread.finished.connect(self.on_export_finished)
        self.export_thread.start()

    def on_export_finished(self):
        QMessageBox.information(self, "Export Finished", "Video export completed!")


if __name__ == "__main__":
    app = QApplication(sys.argv)
    window = MainWindow()
    window.show()
    sys.exit(app.exec())

Недостатком этого способа является то, что если у вас есть текстовая анимация в вашей сцене, вам придется научиться конвертировать ее в анимацию .ASS, что должно быть возможно, также если у вас есть нетекстовые анимации в вашей QGraphicsScene и вы хотите экспортировать их как MP4, вам, вероятно, придется использовать многопроцессорную обработку для захвата сцены (могут быть и другие способы). Обводка текста применима только в том случае, если вы можете ее получить. Я не уверен, есть ли способ использовать базовый QGraphicsTextItem, но поскольку я не использую систему контуров Qt, а вместо этого рисую свою собственную, я могу ее получить.

Еще немного информации о .ASS, которая мне показалась полезной, и о том, как я создаю контурный текст: https://stackoverflow.com/a/78362730/22802649https://hhsprings.bitbucket.io/docs/programming/examples/ffmpeg/subtitle/ass.html