Меня пытались написать несколько кодов для загрузки двоичных файлов с сервера AWS S3.
Я написал этот код прямо ниже, и он выглядит нормально с двоичными файлами размером ~ 200 МБ, поэтому я подумал, что это сработало.
но для больших файлов, таких как 200 МБ~, будет загружена только передняя часть файлов.
например, у видеофайла (1,2Гб) скачивается только лицевая часть (460Мб ~ 700Мб).
Почему это может произойти? Это о функциях офстрима?
// 3. file download from s3
{
string strTargetPath = hThis->m_strTargetPath;
Aws::SDKOptions options;
options.loggingOptions.logLevel = Aws::Utils::Logging::LogLevel::Trace;
Aws::InitAPI(options);
{
// Download from s3 using GetObject
char *bucket_name = "mybucket";
std::string key_name = strTargetPath;
Aws::Client::ClientConfiguration clientConfig;
clientConfig.region = "ap-northeast-2";
//Aws::S3::S3Client s3_client;
std::unique_ptr< Aws::S3::S3Client > s3_client(new Aws::S3::S3Client(clientConfig));
Aws::S3::Model::GetObjectRequest object_request;
object_request.WithBucket(bucket_name).WithKey(key_name.c_str());
// parse file name from path
string str_arr[1000];
int str_cnt = 0;
char *str_buff = new char[1000];
strcpy(str_buff, strTargetPath.c_str());
char *tok = strtok(str_buff, "/");
while (tok != nullptr) {
str_arr[str_cnt++] = string(tok);
tok = strtok(nullptr, "/");
}
string fileName = str_arr[str_cnt - 1];
auto get_object_outcome = s3_client.get()->GetObject(object_request);
if (get_object_outcome.IsSuccess())
{
Aws::OFStream local_file;
std::string strFileName = fileName;
hThis->m_origFileNameString = strFileName;
hThis->m_origFileName = strFileName.c_str();
// Writing file downloaded
local_file.open(hThis->m_origFileName, std::ios::out | std::ios::binary);
local_file << get_object_outcome.GetResult().GetBody().rdbuf();
hThis->Logger(CPrePackagerDlg::currentDateTime() + "download is done\n");
TCHAR programpath[_MAX_PATH];
GetCurrentDirectory(_MAX_PATH, programpath);
hThis->m_valOriginFolderPath.Format(_T("%s\\"), programpath);
hThis->m_valOriginFolderPath += hThis->m_origFileName;
}
else
{
hThis->Logger(CPrePackagerDlg::currentDateTime() + "s3 download error: " +
get_object_outcome.GetError().GetExceptionName() + " " +
get_object_outcome.GetError().GetMessage() + "\n");
hThis->runSignal = CPrePackagerDlg::RunSignal::STAT_RUN_STOP;
}
}
Aws::ShutdownAPI(options);
}
Даже сейчас я точно не знаю, почему это не работает.
Но я изменил свой метод, как показано ниже, и это сработало.
этот код заставляет загруженные данные фрагмента отправляться на диск напрямую.
Таким образом, он не так много использует память (около 10 ~ 30 МБ).
// 3. file download from s3
{
string strTargetPath = hThis->m_strTargetPath;
Aws::SDKOptions options;
options.loggingOptions.logLevel = Aws::Utils::Logging::LogLevel::Trace;
Aws::InitAPI(options);
{
// Download from s3 using GetObject
char *bucket_name = "nemodax-upload-dev";
std::string key_name = strTargetPath;
Aws::Client::ClientConfiguration clientConfig;
clientConfig.region = "ap-northeast-2";
//Aws::S3::S3Client s3_client;
std::unique_ptr< Aws::S3::S3Client > s3_client(new Aws::S3::S3Client(clientConfig));
Aws::S3::Model::GetObjectRequest object_request;
object_request.WithBucket(bucket_name).WithKey(key_name.c_str());
// parse file name from path
string str_arr[1000];
int str_cnt = 0;
char *str_buff = new char[1000];
strcpy(str_buff, strTargetPath.c_str());
char *tok = strtok(str_buff, "/");
while (tok != nullptr) {
str_arr[str_cnt++] = string(tok);
tok = strtok(nullptr, "/");
}
string fileName = str_arr[str_cnt - 1];
// 다운로드하면서 스트림을 아래 fileName으로 지정하는 파일로 바로바로 저장 그래서 메모리를 별로 안먹는다.
object_request.SetResponseStreamFactory(
[=]() {
//return Aws::New<Aws::FStream>("S3DOWNLOAD", hThis->m_origFileName, std::ios_base::out | std::ios_base::binary);
return Aws::New<Aws::FStream>("S3DOWNLOAD", fileName, std::ios_base::out | std::ios_base::binary);
}
);
auto get_object_outcome = s3_client.get()->GetObject(object_request);
if (get_object_outcome.IsSuccess())
{
std::string strFileName = fileName;
hThis->m_origFileNameString = strFileName;
hThis->m_origFileName = strFileName.c_str();
hThis->Logger(CPrePackagerDlg::currentDateTime() + "file size: " + std::to_string(get_object_outcome.GetResult().GetContentLength()) + "\n");
hThis->Logger(CPrePackagerDlg::currentDateTime() + "download is done\n");
// 다운로드된 원본 파일 경로를 멤버변수로 등록-> 추후 암호화때 이 경로를 참조함.
// 파일경로 + 파일명 조합
TCHAR programpath[_MAX_PATH];
GetCurrentDirectory(_MAX_PATH, programpath);
hThis->m_valOriginFolderPath.Format(_T("%s\\"), programpath);
hThis->m_valOriginFolderPath += hThis->m_origFileName;
}
else
{
hThis->Logger(CPrePackagerDlg::currentDateTime() + "s3 download error: " +
get_object_outcome.GetError().GetExceptionName() + " " +
get_object_outcome.GetError().GetMessage() + "\n");
hThis->runSignal = CPrePackagerDlg::RunSignal::STAT_RUN_STOP;
}
}
Aws::ShutdownAPI(options);
}
Even now, I don't know exactly Why it doesn't work.
Потому что в вашем первоначальном примере он сохраняет весь файл в памяти. Во втором фрагменте кода вы поступили правильно, используя fstream в качестве потока ответа. Так что теперь он сразу пишет на диск.
Спасибо за ваши объяснения @Marco M.
И одна вещь, которую я обнаружил, это то, что размер памяти задачи с использованием программы аналогичен размеру файла результата. Это означает, что если программа будет использовать 400 МБ памяти, размер результирующего файла будет 400 МБ.