Атомный код в многопроцессорной обработке пушки / запускать код только в рабочем 1?
Я новичок в многопроцессорной обработке пушек (позвонив gunicorn --worker=X).
Я использую его с Flask, чтобы обеспечить реализацию WSGI для нашего продуктивного интерфейса. Чтобы использовать многопроцессорность, мы передаем вышеупомянутый параметр в unicorn.
Наше приложение Flask также использует APScheduler (через Flask-APScheduler) для запуска задачи cron каждые Y часов. Эта задача ищет новые записи базы данных для обработки и, когда находит их, начинает обрабатывать их одну за другой.
Очевидно, что процесс должен выполняться только одним работником. Но из-за gunicorn теперь появляется X рабочих, каждый из которых выполняет задачу каждые X часов, создавая условия гонки.
Есть ли способ сделать код атомарным, чтобы я мог установить для «обработанной» переменной в записи БД значение true? Или, может быть, сказать gunicorn запускать этот конкретный код только в родительском процессе или первом порожденном рабочем процессе?
Спасибо за каждый вклад! :-)
Ответы 1
Параметр --preload для gunicorn дает возможность запускать код только в родительском воркере.
Весь код, который запускается перед app.run() (или как бы вы ни называли свой Flask() объект), по-видимому, выполняется в родительском процессе.
К сожалению, не нашел никакой документации по этому вопросу, но этот пост привел меня к нему.
Таким образом, запуск кода APScheduler до того, как он запустится (или, в данном случае, зарегистрирован) только один раз.