Правильная загрузка файлов с S3 по заранее подписанным URL-адресам

вы можете клонировать корзину s3 в свой локальный каталог, который автоматически загрузит ваши видео.

Да, работа с большим количеством файлов, например 7000, с использованием предварительно подписанных URL-адресов с помощью AWS SDK — не самый подходящий подход.

Вы можете использовать HttpClient с Exponential Backoff. Но перед этим вам необходимо будет указать все предварительно подписанные URL-адреса для каждого файла, который вы хотите загрузить.

HttpClient поможет вам отправлять отдельные запросы на загрузку с каждым предварительно подписанным URL-адресом, а механизм повтора Exponential backoff поможет повторить неудачные загрузки.

public async Task DownloadFilesWithBackoff(List<string> preSignedUrls)
{
    int retryCount = 0;
    TimeSpan delay = TimeSpan.FromSeconds(1);

    foreach (string url in preSignedUrls)
    {
        using (var httpClient = new HttpClient())
        {
            HttpResponseMessage response;
            while (true)
            {
                try
                {
                    response = await httpClient.GetAsync(url);
                    response.EnsureSuccessStatusCode();
                    break; // Success, exit loop
                }
                catch (HttpRequestException ex)
                {
                    retryCount++;
                    Console.WriteLine($"Download failed (attempt {retryCount}): {ex.Message}");
                    if (retryCount >= 3) // Adjust retry limit as needed
                    {
                        throw; // Re-throw exception after exceeding retries
                    }
                    await Task.Delay(delay);
                    delay *= 2; // Increase delay for next attempt
                }
            }
            // Process downloaded content from the response
        }
    }
}

Вы также можете рассмотреть возможность реализации многопоточности, которая поможет вам загружать файлы одновременно.

ИМО, вам следует контролировать запросы, а не полагаться на стратегии автоматической отсрочки, потому что в этой ситуации вы ЗНАЕТЕ, что они достигнут пределов. https://docs.aws.amazon.com/athena/latest/ug/ Performance-tuning-s3-throttling.html#:~:text=Amazon%20S3%20has%20a%20limit,be%20throttled%20by %20Amazon%20S3. AWS ограничивает вас со скоростью 5500 GET в секунду, что меньше вашего 7000 splat.

Поскольку у вас уже есть заранее назначенные URL-адреса, вам не нужно использовать какой-либо AWS SDK для фактического получения данных. Похоже, вы извлекаете данные из одного клиента, поэтому вам следует просто получать подмножество объектов в пакетном режиме, например. получить 1000 за раз.

Если это распространяется на 7000 отдельных клиентов, обращающихся к одному и тому же объекту S3, вам следует реализовать кэширование CloudFront + и использовать заранее назначенные URL-адреса CloudFront (а не URL-адреса s3) и позволить CF распределять запросы.