Таблица экспорта Python из postgres и импорт в другой postgres с помощью

У меня есть 2 базы данных postgres с одинаковой схемой, но в 2 разных схемах. Я пишу скрипт на Python с целью частично экспортировать данные из одной из таблиц и импортировать результат в ту же таблицу, но в другую базу данных (например, select from A where f=123). Схема большая (в ней много столбцов разных типов, некоторые могут быть нулевыми, некоторые нет. Есть типы дат и строковые поля, которые могут содержать предложения, псевдозапросы и имена файлов), и могут быть тысячи столбцов. строки в таблице.

Я выбрал подход к экспорту данных из таблицы в CSV-файл, а затем к импорту данных из CSV-файла во вторую таблицу базы данных.

Я использую psycopg2 lib для работы с Postgres в Python вместе с csv lib для чтения и записи CSV-файлов.

Я реализовал первую версию. Проблема заключалась в следующем: некоторые столбцы в строке пусты, когда я читаю данные таблицы в python, пустые поля имеют значение None, когда поле может быть null, а где поле не может быть null, значение "" пусто строка, а при экспорте в CSV все значения None и "" вставляются как пустые строки в CSV-файл. Например, ряд будет выглядеть так 1234,,,,,1,,. И когда я пытаюсь импортировать файл в таблицу postgres, все пустые значения в csv преобразуются в null и пытаются вставить таким образом, но это не удалось, потому что поля, которые не могут быть null, не принимают это значение. Ниже вы можете увидеть мой код, и после этого кода я вставил улучшение, которое я сделал, чтобы избежать этой проблемы.

import psycopg2
import csv

def export_table(filename, tablename):
    conn = psycopg2.connect(....)

    cur = conn.cursor()

    cur.execute(f'SELECT * FROM {tablename} where f=123')

    rows = cur.fetchall()

    with open(filename, 'w', newline='') as csvfile:
        writer = csv.writer(csvfile)
        for row in rows:
            writer.writerow(row)

    cur.close()
    conn.close()


def import_table(filename, tablename):

    conn = psycopg2.connect(..second db data)

    cur = conn.cursor()
    with open(filename, 'r') as csvfile:
        cur.copy_expert(
            f"COPY {tablename} FROM STDIN WITH (FORMAT CSV)",
            csvfile
        )

    conn.commit()
    cur.close()
    conn.close()

Пробовал добавлять csv.QUOTE_MINIMAL, csv.QUOTE_NONNUMERIC - мне не помогло.

Поскольку мне не удалось импортировать данные с помощью этого кода, я попытался попробовать еще одну вещь.

Я добавил ручную функцию для цитирования:

def quote_field(field):
    if isinstance(field, str):
        if field == '':
            return '""'
        elif any(c in field for c in (',', '"', '\n')):
            return '"' + field.replace('"', '""') + '"'

    return field

И обновил часть импорта следующим образом:

with open(filename, 'w', newline='') as csvfile:
    writer = csv.writer(csvfile, quoting=csv.QUOTE_NONE, quotechar='', escapechar='\\')
    for row in rows:
        writer.writerow([quote_field(field) for field in row])

Я попытался запустить код, он вставил нулевые значения в csv, поскольку значения "" и None помещаются в csv как пустые поля. Таким образом, строка в csv будет выглядеть так 1234,,,"","",,,,,"",,,,,, и для некоторых случаев это будет успешно работать, данные будут импортированы правильно. Но иногда по какой-то причине сгенерированный csv не импортируется вообще или частично. Чтобы проверить это, я попытался использовать DataGrip для импорта данных из файла csv вручную, для некоторых данных он также импортировал их частично (например, 20 строк из 1000), а для некоторых данных он вообще не импортировался. Я проверил CSV на достоверность, они были действительны. Я думаю, что в части импорта есть ошибка, но я не знаю, где она и почему она так себя ведет. Нужна помощь с этим.