Я новичок в этом. Я создал простое задание Glue со скриптом Python, которое отправляет запрос API и загружает данные в S3. При загрузке данных в верхнюю корзину S3 (s3://my-bucket) все работает нормально, но задание завершается сбоем, когда я меняю целевой каталог для загрузки файлов в подкаталог S3 (s3://my-bucket/log-data) . работает следующий скрипт и загружает файл mydata.txt в корзину.
import request
import boto3
URL = "https://jsonplaceholder.typicode.com/todos/1"
r = requests.get(url = URL)
s3_client = boto3.client('s3',region_name='eu-west-2')
s3_client.put_object(Body=r.text, Bucket='my-bucket', Key='mydata.txt')` '
когда я изменяю последнюю строку кода для загрузки файла в подкаталог ведра S3
s3_client.put_object(Body=r.text, Bucket='my-bucket/log-data', Key='mydata.txt')
Любые советы будут высоко оценены. Спасибо,
Попробуйте добавить префикс к аргументу Key
в put_object
import request
import boto3
URL = "https://jsonplaceholder.typicode.com/todos/1"
r = requests.get(url = URL)
s3_client = boto3.client('s3',region_name='eu-west-2')
s3_client.put_object(Body=r.text, Bucket='my-bucket', Key='log-data/mydata.txt')