Скопируйте данные из Postgres DB в AWS S3 за один шаг

Я не пробовал этого, но думаю, у вас должно получиться.

Вместо того, чтобы передавать FileWriter в copyOut(), вы можете передать любой OutputStream. Вы также можете предоставить InputStream методу putObject, а не файл.

Итак, вам просто нужно преобразовать ваш OutputStream в InputStream, для чего существует ряд методов (например, см. эта почта), или вы можете использовать что-то вроде Библиотека EasyStream.

Вы должны использовать PutObject с InputStream.

Вы можете использовать PipedOutputStream и PipedInputStream для перенаправления вывода на ввод putObject

PipedInputStream in = new PipedInputStream();
PipedOutputStream out = new PipedOutputStream(in);

Используйте in в качестве аргумента для PutObject и начните запись в out в другом потоке.

Если вы готовы сделать это на Python, вот пример, который должен работать:

import boto
import gzip
import psycopg2
import tempfile

# database connection setup
connection = psycopg2.connect('postgresql://scott:tiger@localhost/mydatabase')
connection.autocommit = True
cursor = connection.cursor()

# aws connection setup
s3_connection = boto.connect_s3('<aws access key>', '<aws secret key>')
bucket = s3_connection.get_bucket('<bucket>')

with tempfile.NamedTemporaryFile() as t:
    with gzip.GzipFile(t.name, mode='wb') as g:
        cursor.copy_expert("COPY ({0}) TO STDOUT WITH CSV HEADER".format('<select_query>'), g)
    key = boto.s3.key.Key(bucket, '<s3_key>')
    key.set_contents_from_filename(g.name)

В этом процессе используется модуль tempfile в Python, который позволяет вам создать файл, который будет использоваться, а затем удаляться в процессе. Диспетчер контекста (with tempfile...) упрощает управление процессом записи файла, поэтому вам не нужно удалять его вручную. В зависимости от того, как вы настроили временный файл, вы можете сделать файл доступным или никогда не видимым для пользователей системы. По сути, вы транслируете оператор SELECT в STDOUT, а затем записываете STDOUT во временный файл. Вы по-прежнему обязаны своей базе данных за инструкцию SELECT с точки зрения управления памятью, скорости и доступа.

Преимущество состоит в том, что вам не нужно хранить весь файл в памяти при попытке передать его на S3; недостатки в том, что вам нужно достаточно места на диске для временного хранения файла, и что это, очевидно, медленнее, потому что вы записываете на диск, а не делаете все это в памяти.

Также следует отметить, что я сохранил шаг, на котором python сжимает файл с помощью gzip перед загрузкой. Я сделал это, чтобы сэкономить место при загрузке; это особенно полезно, если вы загружаете таблицу с большим количеством повторяющихся данных.

В качестве отступления: вы должны использовать нет как есть в среде, где вы открыты для SQL-инъекций; есть лучшие способы создания команды COPY, если это часть вашего варианта использования.

Вот мое решение кода Python для перемещения всех таблиц в БД с именем dvdrental в PostgreSQL в корзину S3.

import boto3
import json
import psycopg2

s3_client = boto3.client('s3')

# database connection setup
connection = psycopg2.connect(
                database = "dvdrental",
                user = "postgres",
                password = "****")
connection.autocommit = True
cursor = connection.cursor()

# Get all the table names from the database
query = "SELECT table_name FROM information_schema.tables WHERE table_schema = 
'public' and table_type = 'BASE TABLE';"
cursor.execute(query)
table_names = cursor.fetchall()
table_names_list = [row[0] for row in table_names]

# Get the contents of each table in json format and move it to the s3 bucket
for name in table_names_list:
  query2 = "SELECT array_to_json(array_agg(row_to_json(n_alias))) from (select * 
  from {}) n_alias;".format(name)
  cursor.execute(query2)
  file_content = cursor.fetchall()
  data = json.dumps(file_content).encode('UTF-8')
  s3_client.put_object(Body=data, Bucket='dvdrentalbucket', 
  Key='{}.json'.format(name))



# closing database connection.
cursor.close()
connection.close()
print("PostgreSQL connection is closed")