Поместите объект/файл в S3 (паркет или CSV)
Я пытаюсь поместить файл паркета в S3 с помощью AWS или AWSS3, если кто-нибудь может предоставить рабочий пример (я могу подключиться к S3 и получить файлы). Единственный, который не выдает никаких ошибок, находится ниже, но помещает только тело файла (файл 20B, но когда я пытаюсь открыть этот файл из S3, я получаю сообщение «ОШИБКА: ArgumentError: неверный паркет: последние байты «quet», ожидайте «PAR1»)):
p = S3Path("s3://bucket/folder/my_local_file.parquet")
write(p, "my_local_file.parquet")
конечно, просто добавил больше деталей
Код помещает текст «my_local_file.parquet» в объект S3. Это не файл Parquet, это просто текстовый файл.
как тогда вставить файл?
Это может помочь: Невозможно создать объект с содержимым в корзине AWS S3: r/Julia
У меня есть локальный файл на диске my_local_file.parquet, и я хочу скопировать/поместить этот файл на S3. Спасибо за ссылку, upload_file_to_s3(bucket_name, template_file) решило проблему! Пожалуйста, дайте ответ, чтобы принять его
Ответы 1
Похоже, вы хотите загрузить файл с локального диска на Amazon S3 с помощью Julia.
Из Невозможно создать объект с содержимым в корзине AWS S3: r/Julia:
using AWS: @service
@service S3
function upload_file_to_s3(bucket_name, file_path)
file_name = basename(file_path)
open(file_path, "r") do file
S3.put_object(bucket_name, file_name, Dict("Body" => read(file, String)))
end
println("File $file_name uploaded to $bucket_name.")
end
template_file = "./README.md"
bucket_name = "my-unique-bucket-name"
upload_file_to_s3(bucket_name, template_file)
Извините, но ваш вопрос не содержит подробностей. Что вы подразумеваете под «помещает только тело файла (ничего внутри)»? Можете ли вы отредактировать свой вопрос, чтобы показать нам, что вы вставили
S3Path()? (Не стесняйтесь изменить имя корзины на какое-нибудь поддельное.)