Список всех объектов в AWS S3 с помощью Java SDK
Я использую следующий фрагмент кода для перечисления объектов в корзине.
objectListing = client.listObjects(bucketname);
do{
for (S3ObjectSummary objectSummary : objectListing.getObjectSummaries()) {
System.out.printf(" - %s (size: %d)\n", objectSummary.getKey(), objectSummary.getSize());
}
objectListing=s3Client.listNextBatchOfObjects(objectListing);
}while (objectListing.isTruncated());
Я не могу получить последнюю партию объектов. Я провел некоторое исследование по этому поводу, и партии сохраняются в списке. Но я не могу использовать список для сохранения всех объектов, поскольку существует миллион объектов, и это приведет к иногда проблема с памятью кучи.Как я могу получить все объекты.Спасибо !!!
Новый:
Я запускаю это:
BasicAWSCredentials credentials = new BasicAWSCredentials("foo", "bar");
client = AmazonS3ClientBuilder
.standard()
.withCredentials(new AWSStaticCredentialsProvider(credentials))
.withEndpointConfiguration(new AwsClientBuilder.EndpointConfiguration("http://localhost:" + port, null))
.withPathStyleAccessEnabled(true)
.withChunkedEncodingDisabled(true)
.build();
ObjectListing listing = client.listObjects( "bucketname");
System.out.println("Listing size "+listing.getObjectSummaries().size());
System.out.println("At 0 index "+ listing.getObjectSummaries().get(0).getKey());
System.out.println("At 999 index "+ listing.getObjectSummaries().get(999).getKey());
while (listing.isTruncated()) {
System.out.println("-----------------------------------------------");
listing = client.listNextBatchOfObjects(listing);
System.out.println("Listing size "+listing.getObjectSummaries().size());
System.out.println("At 0 index "+ listing.getObjectSummaries().get(0).getKey());
System.out.println("At 999 index "+ listing.getObjectSummaries().get(1000).getKey());
}
Получаю следующий результат:
Listing size 1000
At 0 index folder1/a.gz
At 999 index folder1/b.gz
---------------------------------------------------------------
Listing size 1001
At 0 index folder1/b.gz
At 1000 index folder1/d.gz
---------------------------------------------------------------
Listing size 1001
At 0 index folder1/d.gz
At 1000 index folder1/e.gz
Ответы 1
Просто и понятно
ObjectListing listing = s3.listObjects( bucketName, prefix );
List<S3ObjectSummary> summaries = listing.getObjectSummaries();
while (listing.isTruncated()) {
listing = s3.listNextBatchOfObjects (listing);
summaries.addAll (listing.getObjectSummaries());
}
Или же
ObjectListing listing = s3.listObjects( bucketName, prefix );
doSomeProcessing(listing);
while (listing.isTruncated()) {
listing = s3.listNextBatchOfObjects (listing);
doSomeProcessing(listing);
}
Обновление:
В приведенном ниже комментарии к повторяющимся элементам я запустил код ниже
Yeah,I am getting objects but the 1000 and 1001 objects are repeating and so 2001 and 2002 objects are repeating and so on.How can i avoid this by second method @raevilman. Thank You
public static void main(String[] args) {
int i=0;
System.out.println("start");
ObjectListing listing = s3Client.listObjects( "emr-logs");
System.out.println("Listing size "+listing.getObjectSummaries().size());
System.out.println("At 0 index "+ listing.getObjectSummaries().get(0).getKey());
System.out.println("At 999 index "+ listing.getObjectSummaries().get(999).getKey());
while (listing.isTruncated()) {
if (i>3)break;
System.out.println("======================================================================= = ");
listing = s3Client.listNextBatchOfObjects(listing);
System.out.println("Listing size "+listing.getObjectSummaries().size());
System.out.println("At 0 index "+ listing.getObjectSummaries().get(0).getKey());
System.out.println("At 999 index "+ listing.getObjectSummaries().get(999).getKey());
i++;
}
System.out.println("end");
}
Я получил следующие результаты без повторяющихся элементов
start
Listing size 1000
At 0 index j-10HD9DMBVVTJL/containers/application_1507189355052_0001/container_1507189355052_0001_01_000001/stderr.gz
At 999 index j-156WGS0LMKA2I/node/i-00085367e194fc02a/daemons/instance-state/instance-state.log-2017-11-16-05-15.gz
========================================================================
Listing size 1000
At 0 index j-156WGS0LMKA2I/node/i-00085367e194fc02a/daemons/instance-state/instance-state.log-2017-11-16-05-30.gz
At 999 index j-182UIXOOU8GZ6/node/i-061ffd1d1ae11da74/provision-node/0d1707a0-71dd-4dd5-a1dc-ab226ee2d150/stdout.gz
========================================================================
Listing size 1000
At 0 index j-182UIXOOU8GZ6/node/i-061ffd1d1ae11da74/provision-node/apps-phase/stderr.gz
At 999 index j-1BW9J554DDY15/containers/application_1521803257216_0002/container_1521803257216_0002_01_000002/stderr.gz
========================================================================
Listing size 1000
At 0 index j-1BW9J554DDY15/containers/application_1521803257216_0002/container_1521803257216_0002_01_000002/stdout.gz
At 999 index j-1EKRPTSEXCTB5/node/i-0576a3c452d00384b/applications/hadoop/steps/s-2B5LZ2PC741FD/controller.gz
========================================================================
Listing size 1000
At 0 index j-1EKRPTSEXCTB5/node/i-0576a3c452d00384b/applications/hadoop/steps/s-2B5LZ2PC741FD/stderr.gz
At 999 index j-1G6AYY5EMTR94/node/i-02363f6ac11c89135/daemons/instance-state/instance-state.log-2017-10-29-14-15.gz
end
Process finished with exit code 0
ОК. В этом случае вы можете обрабатывать сводки внутри цикла while вместо того, чтобы добавлять их в список ....
Да, я получаю объекты, но объекты 1000 и 1001 повторяются, поэтому объекты 2001 и 2002 повторяются и т. д. Как я могу избежать этого вторым методом @raevilman. Спасибо
Я запустил код. Но не получил повторяющихся элементов. Обновил ответ. Пожалуйста, посмотрите и предложите, если необходимо, какие-либо изменения.
Я использовал ваш образец кода с моими учетными данными s3, хотя я получаю повторяющиеся элементы. Я не знаю почему. Будет ли разница в подключении AmazonS3 s3Client или что-то еще @raevilman Спасибо.
Можете ли вы поделиться снимком экрана с запущенным кодом и выводом?
Я заметил, что в вашем случае размер списка 1001 - это последующие запросы ...
пожалуйста, помогите ...... Я не знаю цель .withEndpointConfiguration (новый AwsClientBuilder.EndpointConfiguration ("localhost:" + порт, null))
AwsClientBuilder.EndpointConfiguration имеет два поля: EndpointConfiguration (String serviceEndpoint (example.com:port), String signedRegion). Почему размер составляет 1001 последующий запрос? @raevilman
Байт, в чем причина использования конфигурации конечной точки? Я использую withRegion вместо этого ..... о размере, странно, не знаю ....
Я сохраняю эту двойную звездочку, так как предыдущий пакет последний объект и следующий пакетный объект одинаковы и повторяются. Он переносит предыдущий пакетный объект в nextbatchlistofobjects, а затем выдает 1000 оттуда, включая последний объект последнего пакета @ raevilman. Конфигурация конечной точки заключается в доступе к определенному хосту .
Также, если вы получаете 1001 объект, то индекс 999 не возвращает последний ..... Вы подделали результат ? ..... Скриншот?
Хорошо, а насчет конфигурации конечной точки? Почему это вместо метода withRegion?
Я могу напечатать индекс 1000, но я не печатал, поскольку я только что запустил ur код @raevilman, чтобы показать, что он получает 1001, и чтобы показать, что он принимает последний пакетный объект. Конфигурация конечной точки заключается в доступе к определенному хосту с портом.
Список используется для сохранения сводок объектов каждый раз, когда вы запускаете, и все сохраняется в списке сводок. Я не могу использовать список, чтобы сэкономить миллионы миллионов @raevilman