Кластер воздушного потока: нужно ли развертывать DAG/рабочие процессы на всех рабочих?
Мы планируем обновить Airflow и перейти с одного сервера Airflow на Airflow кластер (AWS).
Мы проверяли эти статья и Вот этот.
Мы используем SQS в качестве службы очередей, и, несмотря на то, что в документации сказано, что нам нужно только развернуть наши py-файлы DAG в мастерах, мы задаемся вопросом, правильно ли это.
- Коммуникации через очереди не включают код
- В наших тестах наши DAG не работают, если мы не развернем их на всех узлах, рабочих и мастерах.
Итак, что нам делать?
Большое спасибо!
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
0
0
143
1
Перейти к ответу
Данный вопрос помечен как решенный
Ответы 1
Ответ принят как подходящий
Ваша группа DAGS должна быть синхронизирована между всеми рабочими, чтобы она работала, потому что airflow_scheduler отправит DAG любому доступному рабочему. Если группы обеспечения доступности баз данных не синхронизированы между всеми рабочими процессами, может быть запущена более старая копия группы обеспечения доступности баз данных.
Другие вопросы по теме
Воздушный поток: получить предыдущий идентификатор задачи в следующей задаче
Создание соединений Airflow в Cloud Composer с помощью gcloud CLI
Airflow — ModuleNotFoundError: нет модуля с именем «kubernetes»
Цикл DAG воздушного потока — как сделать каждую итерацию последовательной, а не параллельной
Как передать параметр запроса в файл sql с помощью оператора bigquery
Как запланировать переобучение модели конвейера sagemaker с помощью воздушного потока
Как устранить предупреждение о недействительном соединении с БД в планировщике воздушного потока?
Воздушный поток — скажите DAG, чтобы он пропускал обработку 2-го числа каждого месяца
Как установить равный приоритет_веса для задачи, которая зависит от другой задачи
Как запустить даг Airflow с более чем 100 тысячами задач?
Похожие вопросы
AWS APIGateway с авторизатором Cognito, определенным в спецификации OpenAPI
Terraform использует существующую политику для ведра s3
Как использовать в Terraform ресурсы уже в AWS (созданные вручную)?
Выделение эластичного IP-адреса существующему/работающему экземпляру Amazon EC2
Имя пользователя и пароль базы данных AWS RDS MySQL, достаточные для коммерческой безопасности
Шлюз AWS API не разрешает ассоциацию пользовательского доменного имени с сертификатом
Несоответствие объектов списка AWS S3
Развертывание разных версий веб-приложения
AWS ELB возвращает 404 для https://domain_name:8000, но доступен через public_ip:8000
Как проверить, что дата пуста, используя python?