Как удалить файлы из облачного хранилища после завершения задания потока данных

В GCP у меня есть задание потока данных, которое копирует файлы из облачного хранилища в большой запрос. Я хотел бы удалить эти файлы, как только они будут успешно вставлены в большой запрос. Может ли кто-нибудь дать указания о том, как этого добиться, а также о том, как запустить другое задание после успешного выполнения предыдущего?

Создание приборной панели для анализа данных на GCP - часть I
Создание приборной панели для анализа данных на GCP - часть I
Недавно я столкнулся с интересной бизнес-задачей - визуализацией сбоев в цепочке поставок лекарств, которую могут просматривать врачи и...
1
0
968
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Для таких сценариев обычно рекомендуется ввести в архитектуру инструмент для планирования и согласования рабочих нагрузок. Google Cloud предоставляет Cloud Composer, управляемую версию Поток воздуха, для решения именно этого варианта использования. Вы можете запланировать DAG (направленный ациклический граф) в Composer, чтобы запустить задание Dataflow, а затем, при успешном выполнении задания, выполнить дополнительные задачи для очистки файлов или для запуска следующего процесса.

Пример DAG

Example DAG

Для начала я рекомендую проверить Cloud Composer документация, а также эти Примеры Cloud Composer, которые кажутся похожими на ваш вариант использования.

Большое спасибо, @Ryan McDowell. Это то, что я искал.

Srinivas 07.09.2018 15:59

Обновите ссылку на примеры Cloud Composer: github.com/GoogleCloudPlatform/professional-services/tree/…

northtree 04.02.2019 01:28

Другие вопросы по теме