В GCP у меня есть задание потока данных, которое копирует файлы из облачного хранилища в большой запрос. Я хотел бы удалить эти файлы, как только они будут успешно вставлены в большой запрос. Может ли кто-нибудь дать указания о том, как этого добиться, а также о том, как запустить другое задание после успешного выполнения предыдущего?
Для таких сценариев обычно рекомендуется ввести в архитектуру инструмент для планирования и согласования рабочих нагрузок. Google Cloud предоставляет Cloud Composer, управляемую версию Поток воздуха, для решения именно этого варианта использования. Вы можете запланировать DAG (направленный ациклический граф) в Composer, чтобы запустить задание Dataflow, а затем, при успешном выполнении задания, выполнить дополнительные задачи для очистки файлов или для запуска следующего процесса.
Для начала я рекомендую проверить Cloud Composer документация, а также эти Примеры Cloud Composer, которые кажутся похожими на ваш вариант использования.
Обновите ссылку на примеры Cloud Composer: github.com/GoogleCloudPlatform/professional-services/tree/…
Большое спасибо, @Ryan McDowell. Это то, что я искал.