Apache Airflow: оператор для копирования s3 в s3

У вас есть 2 варианта (даже если я игнорирую Airflow)

1. Используйте Интерфейс командной строки AWS: cp команда
   • aws s3 cp <source> <destination>
   • В Airflow эту команду можно запустить с помощью BashOperator (локальный компьютер) или SSHOperator (удаленный компьютер)
2. Используйте SDK АМС, он же boto3
   • Здесь вы будете использовать boto3S3Client
   • Airflow уже обеспечивает обертку в виде S3Hook
   • Даже copy_object(..) способ S3Client доступен в S3Hook как (снова) copy_object(..)
   • Вы можете использовать S3Hook внутри любого подходящего кастома operator или просто PythonOperator

Используйте S3CopyObjectOperator

copy_step = S3CopyObjectOperator(
   source_bucket_key='source_file',
   dest_bucket_key='dest_file',
   aws_conn_id='aws_connection_id',
   source_bucket_name='source-bucket',
   dest_bucket_name='dest-bucket'
)