Мониторинг веб-сервера Airflow при использовании Google Cloud Composer

Как я могу контролировать веб-сервер Airflow при использовании Google Cloud Composer? Если веб-сервер выйдет из строя или выйдет из строя из-за ошибки, я хочу получить предупреждение.

Веб-сервис для Composer поддерживается той же технологией, что и Гибкая среда App Engine. Это означает, что веб-процесс должен быть достаточно отказоустойчивым, а служба должна следить за процессом веб-сервера. Таким образом, хотя это может быть распространенной проблемой для неуправляемого Airflow, это не должно вызывать беспокойства у Cloud Composer. Существуют ли случаи, когда веб-служба терпела неудачу в среде Composer?

James 28.08.2018 19:31

У меня нет такого случая, но я хочу убедиться, что моя служба работает нормально. Спасибо за ответ

Balaji 29.08.2018 07:03
Создание приборной панели для анализа данных на GCP - часть I
Создание приборной панели для анализа данных на GCP - часть I
Недавно я столкнулся с интересной бизнес-задачей - визуализацией сбоев в цепочке поставок лекарств, которую могут просматривать врачи и...
0
2
605
2

Ответы 2

Вы можете использовать Мониторинг Stackdriver: https://cloud.google.com/composer/docs/how-to/managing/monitoring-environments. Оповещения также можно установить в Stackdriver.

В настоящее время детализированные метрики для веб-сервера Airflow не экспортируются в Stackdriver, поэтому его нельзя отслеживать, как другие ресурсы в среде Cloud Composer (например, кластер GKE, экземпляры GCE и т. д.). Это связано с тем, что веб-сервер работает в проекте арендатора вместе с вашим основным проектом, в котором находится большая часть ресурсов вашей среды.

Однако журналы веб-сервера для Airflow в Composer теперь имеют вид виден в Stackdriver по состоянию на 11 марта 2019 г. Это означает, что на данный момент вы можете настроить показатели на основе журналов для журнала веб-сервера (сопоставление строк, содержащих Traceback, и т. д.).

Другие вопросы по теме