Я использую Composer версии 1.2.0–1.9.0 и пытаюсь использовать MsSqlOperator в одном из моих DAG. Однако при публикации Airflow выдает ошибку: нет модуля с именем pymssql.
Теперь я могу установить его как пакет PyPi, но разве он не должен поддерживаться изначально? Даже если нет, могу ли я включить подпакет mssql при создании среды?
Если вы хотите использовать добавить дополнительные пакеты, которые не являются частью базовой среды, в Консоль Cloud Composer при нажатии на имя вашей среды у вас есть вкладка с именем PYPI PACKAGES. Здесь вы можете указать пакет и версию Python, которую хотите добавить в свою среду.
Вы также можете сделать это программно, создав файл requirements.txt с указанием дополнительных пакетов, которые вам нужны, и передать его в среду Composer с помощью команд gcloud. Необходимая команда gcloud приведена ниже.
gcloud composer environments update ENVIRONMENT-NAME \
--update-pypi-packages-from-file requirements.txt \
--location LOCATION