Как я могу контролировать веб-сервер Airflow при использовании Google Cloud Composer? Если веб-сервер выйдет из строя или выйдет из строя из-за ошибки, я хочу получить предупреждение.
У меня нет такого случая, но я хочу убедиться, что моя служба работает нормально. Спасибо за ответ
Вы можете использовать Мониторинг Stackdriver: https://cloud.google.com/composer/docs/how-to/managing/monitoring-environments. Оповещения также можно установить в Stackdriver.
В настоящее время детализированные метрики для веб-сервера Airflow не экспортируются в Stackdriver, поэтому его нельзя отслеживать, как другие ресурсы в среде Cloud Composer (например, кластер GKE, экземпляры GCE и т. д.). Это связано с тем, что веб-сервер работает в проекте арендатора вместе с вашим основным проектом, в котором находится большая часть ресурсов вашей среды.
Однако журналы веб-сервера для Airflow в Composer теперь имеют вид виден в Stackdriver по состоянию на 11 марта 2019 г. Это означает, что на данный момент вы можете настроить показатели на основе журналов для журнала веб-сервера (сопоставление строк, содержащих Traceback
, и т. д.).
Веб-сервис для Composer поддерживается той же технологией, что и Гибкая среда App Engine. Это означает, что веб-процесс должен быть достаточно отказоустойчивым, а служба должна следить за процессом веб-сервера. Таким образом, хотя это может быть распространенной проблемой для неуправляемого Airflow, это не должно вызывать беспокойства у Cloud Composer. Существуют ли случаи, когда веб-служба терпела неудачу в среде Composer?