Скрипты Bigquery для воздушного потока bigqueryoperator
Можно ли выполнить сценарий bigquery в воздушном потоке BigQueryOperator (воздушный поток 1.10.12)? У кого-то получается? Я пробовал что-то вроде этого:
test = BigQueryOperator(
task_id='test',
sql = """DECLARE aaa STRING;
SET aaa = 'data';
CREATE OR REPLACE TABLE `project-id.dataset-id.TEST_DDL` as select aaa as TEST;""",
use_legacy_sql = False,
create_disposition=False,
write_disposition=False,
schema_update_options=False,
location='EU')
Но все, что я получаю, это «Не найдено: набор данных не был найден в местоположении США в [3: 9]».
Ответы 1
На самом деле я нашел проблему, и она связана с оператором bigqueryoperator. На самом деле при написании сценариев нет ни таблиц, на которые ссылаются, ни таблиц назначения в задании вставки bigquery. В этом случае bigquery по умолчанию устанавливает место работы в США. В моем случае, поскольку мои наборы данных находятся в ЕС, задание не выполняется. И в bigqueryoperator есть параметр местоположения, но он ошибочно передается оператором в объекте конфигурации задания, а не в объекте ссылки на задание. Что сделало его бесполезным. Проблема исправлена в Airflow 2.