Я использую dbt-синапс: https://github.com/dbt-msft/dbt-синапс Я хочу загрузить файл паркета из Azure Data Lake Gen2/Azure Blob Storage в выделенный пул в Azure Synapse. я пытался использовать
{{ config(materialized='table') }}
with my_table as (
SELECT
TOP 100 *
FROM
OPENROWSET(
BULK 'myparquetfile_url',
FORMAT = 'PARQUET'
) AS [result]
)
select * from my_table
но не повезло.
Он показывает эту ошибку
('42000', "[42000] [Microsoft][ODBC Driver 17 for SQL Server][SQL Server]Parse error at line: 7, column: 9: Incorrect syntax near 'OPENROWSET'. (103010) (SQLExecDirectW)")
Итак, как я могу загрузить файл паркета из хранилища BLOB-объектов в выделенный пул с помощью dbt?
К сожалению, OPENROWSET
не поддерживается в Azure Synapse Analytics.
Существует репозиторий GitHub, который вы можете использовать для загрузки внешних таблиц с помощью dbt. Это вы можете использовать в качестве альтернативы.
https://github.com/dbt-labs/dbt-external-таблицы
Поддерживаемая база данных: