Как устранить предупреждение о недействительном соединении с БД в планировщике воздушного потока?

Я обновляю наш экземпляр Airflow с 1.9 до 1.10.3, и всякий раз, когда планировщик запускается сейчас, я получаю предупреждение о том, что соединение с базой данных было недействительным, и он пытается восстановить соединение. Куча этих ошибок появляется подряд. Консоль также указывает, что задачи планируются, но если я проверяю базу данных, ничего не записывается.

Следующее предупреждение появляется там, где его раньше не было

[2019-05-21 17:29:26,017] {sqlalchemy.py:81} WARNING - DB connection invalidated. Reconnecting...

В конце концов, я также получу эту ошибку

FATAL: remaining connection slots are reserved for non-replication superuser connections

Я пытался увеличить размер пула SQL Alchemy в airflow.cfg, но это не дало никакого эффекта.

# The SqlAlchemy pool size is the maximum number of database connections in the pool.
sql_alchemy_pool_size = 10

Я использую CeleryExecutor и думаю, что, возможно, количество рабочих перегружает соединения с базой данных.

Я запускаю три команды, airflow webserver, airflow scheduler и airflow worker, поэтому должен быть только один рабочий процесс, и я не понимаю, почему это может перегрузить базу данных.

Как устранить ошибки подключения к базе данных? Есть ли настройка для увеличения количества подключений к базе данных, если да, то где? Нужно ли обращаться с рабочими по-другому?


Обновлять:

Даже если рабочие процессы не запущены, веб-сервер и планировщик запускаются заново, когда планировщик заполняет пулы воздушного потока, начинает появляться предупреждение о соединении с БД.


Обновление 2:

Я обнаружил следующую проблему в Airflow Jira: https://issues.apache.org/jira/browse/AIRFLOW-4567.

Есть некоторая активность, когда другие говорят, что видят ту же проблему. Неясно, вызывает ли это непосредственно сбои, которые видят некоторые люди, или это просто раздражающий косметический журнал. Пока решения этой проблемы нет.

Кажется, вы используете пул соединений. Это? Если да, не могли бы вы указать мне какой-нибудь ресурс для правильной настройки пула соединений?

user13744439 05.07.2021 08:36
ReactJs | Supabase | Добавление данных в базу данных
ReactJs | Supabase | Добавление данных в базу данных
Это и есть ваш редактор таблиц в supabase.👇
14
1
3 348
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Это было решено в последней версии Airflow, 1.10.4.

Я считаю, что это было исправлено ВОЗДУШНЫЙ ПОТОК-4332, обновив SQLAlchemy до более новой версии.

Запрос на вытягивание

Другие вопросы по теме