Как выполнить задачу в Airflow на другом сервере?
Я уже настроил следующую инфраструктуру:
хост (основной): воздушный поток (со всеми услугами)
подчиненный сервер воздушный поток (redis, postgres, рабочий)
Не могу увидеть ни одного руководства или не могу найти подсказки о том, как это сделать, но я понятия не имею, как связать задачу с параметром queue=node1, чтобы выполнить ее на подчиненном сервере, спасибо!
Ответы 1
Для перенаправления задачи можно использовать следующий пример:
train_model = PythonOperator(
task_id='train_model',
python_callable=train_model_flights
queue='<QUEUE_NAME>'
)
Кроме того, если вы создали эту инфраструктуру с помощью docker-compose, проверьте раздел airflow-worker, где используется команда «celery worker». Для вашего нового работника с другим именем очереди скопируйте и вставьте его и измените команду на «celery worker -q <QUEUE_NAME>».
Используйте airflow.apache.org/docs/apache-airflow/2.9.2/… и добавьте airflow-worker-2 со ссылкой на «airflow-worker» с командой celery, упомянутой выше.
не могли бы вы добавить докер, состоящий из работника? Спасибо!