Как пропустить данные из задания службы передачи хранилища (AWS -> GCP)
Мне удалось успешно перенести данные с помощью службы передачи данных GCP из моей корзины в AWS в GCP, и я обнаружил, что 17 файлов пропущено, поскольку в целевой корзине GCP есть файлы с таким же именем.
Как идентифицировать эти 17 файлов?
Ответы 2
Вы настроили ведение журнала перед выполнением задания передачи? Если нет, вы можете просмотреть все неудавшиеся файлы, включив ведение журнала, а затем повторно запустить передачу, пропуская уже переданные файлы. Вы можете выполнить следующие шаги:
Шаг 1: Исправьте неудавшуюся TransferJob с помощью loggingConfig
Шаг 2: Снова запустите TransferJob, который должен повторить попытку всех неудачных объектов.
Шаг 3: Прочтите журналы передачи, чтобы найти имена (и подробности) всех вышедших из строя объектов.
Для получения более подробной информации вы можете просмотреть эту документацию — Cloud Logging for Storage Transfer Service.
Согласно этому, на момент написания этой статьи у нас не было возможности идентифицировать пропущенные файлы, отфильтрованные по заданию передачи.
Я настроил ведение журнала, но пропущенные данные не отображаются. Я попробовал ваше решение, но оно тоже не помогло, в любом случае спасибо. Есть ли у вас какие-либо другие документы, которые, возможно, мне не хватает и которые могут помочь?