Перенести csv из gcs в postgresql

Вы можете выполнить процесс импорта с помощью Облачный поток данных, как это было предложено @GrahamPolley. Это правда, что это решение требует дополнительной работы (знакомство с Dataflow, настройка всего и т. д.). Даже с учетом дополнительной работы это было бы предпочтительным решением для вашей ситуации. Однако доступны и другие решения, одно из которых я объясню ниже.

Этот учебник по экспорт BigQuery в Google Datastore является хорошим примером для настройки процесса миграции с помощью Dataflow.

Альтернативное решение Cloud Dataflow

Cloud SQL для PostgreSQL не поддерживает импорт с .CSV, но поддерживает файлы .SQL.

The file type for the specified uri.
SQL: The file contains SQL statements.
CSV: The file contains CSV data. Importing CSV data using the Cloud SQL Admin API is not supported for PostgreSQL instances.

Прямым решением было бы преобразовать файл .CSV в .SQL с помощью какого-либо инструмента (Google не предоставляет тот, о котором я знаю, но их много в Интернете), а затем импортировать в PostgreSQL.

Если вы хотите реализовать это решение более «программным» способом, я бы предложил использовать Облачные функции, вот пример того, как я бы попытался это сделать:

1. Настройте облачную функцию, которая срабатывает, когда файл загружается в корзину Cloud Storage
2. Закодируйте функцию, чтобы получить загруженный файл, и проверьте, является ли он .CSV. Если это так, используйте API csv-to-sql (пример API здесь) для преобразования файла в .SQL.
3. Сохраните новый файл в облачном хранилище
4. Импорт в PostgreSQL

Я обнаружил, что модуль pyscopg2 имеет copy_from (), который позволяет загружать весь файл csv вместо потоковой передачи строк по отдельности. Обратной стороной использования этого метода является то, что файл csv по-прежнему необходимо загрузить из GCS и сохранить локально.

вот подробности использования pyscopg2 'copy_from ()'. (От здесь)

import psycopg2

conn = psycopg2.connect("host=localhost dbname=postgres user=postgres")
cur = conn.cursor()
with open('user_accounts.csv', 'r') as f:
    # Notice that we don't need the `csv` module.
    next(f)  # Skip the header row.
    cur.copy_from(f, 'users', sep=',')

conn.commit()

Вы можете просто использовать класс, чтобы текст, который вы извлекаете из Интернета, вел себя как файл. Я использовал это несколько раз.

import io
import sys


class IteratorFile(io.TextIOBase):
    """ given an iterator which yields strings,
    return a file like object for reading those strings """

    def __init__(self, obj):
        elements = "{}|" * len(obj[0])
        elements = (unicode(elements[:-1]).format(*x) for x in obj)
        self._it = elements
        self._f = io.cStringIO()

    def read(self, length=sys.maxsize):

        try:
            while self._f.tell() < length:
                self._f.write(next(self._it) + "\n")

        except StopIteration as e:
            # soak up StopIteration. this block is not necessary because
            # of finally, but just to be explicit
            pass

        except Exception as e:
            print("uncaught exception: {}".format(e))

        finally:
            self._f.seek(0)
            data = self._f.read(length)

            # save the remainder for next read
            remainder = self._f.read()
            self._f.seek(0)
            self._f.truncate(0)
            self._f.write(remainder)
            return data

    def readline(self):
        return next(self._it)

Перед тем как начать, вы должны убедиться:

The database and table you are importing into must already exist on your Cloud SQL instance.

CSV file format requirements CSV files must have one line for each row of data and have comma-separated fields.

Затем вы можете представить импортировать данные в экземпляр Cloud SQL с помощью файла CSV в корзине GCS, выполнив следующие шаги [GCLOUD]

1. Опишите экземпляр, из которого вы экспортируете:

gcloud sql instances describe [INSTANCE_NAME]

2. Скопируйте поле serviceAccountEmailAddress.

3. Добавьте сервисную учетную запись в ACL корзины в качестве писателя:

gsutil acl ch -u [SERVICE_ACCOUNT_ADDRESS]:W gs://[BUCKET_NAME]

4. Добавьте учетную запись службы в файл импорта в качестве читателя:

gsutil acl ch -u [SERVICE_ACCOUNT_ADDRESS]:R gs://[BUCKET_NAME]/[IMPORT_FILE_NAME]

5. Импортируйте файл

gcloud sql import csv [INSTANCE_NAME] gs://[BUCKET_NAME]/[FILE_NAME] \ --database=[DATABASE_NAME] --table=[TABLE_NAME]

6. Если вам не нужно сохранять разрешения, предоставленные ранее установленным ACL, удалите ACL:

gsutil acl ch -d [SERVICE_ACCOUNT_ADDRESS] gs://[BUCKET_NAME]