Как настроить путь для таблицы Delta Live Table в cloud_files

Я новичок в таблице Databricks Delta Live. У меня есть небольшие сомнения, и мне нужна ваша помощь, чтобы понять концепцию, стоящую за этим. Я не могу продолжать без этого.

У меня есть файл в контейнере озера данных Azure, и я знаю, что мне нужно указать путь в разделе «cloud_files», чтобы дельта-таблица live могла считывать файлы из этой папки и отображать их. Но я сомневаюсь, что если я укажу только путь, как мне указать имя учетной записи хранения и имя контейнера? Кроме того, нужно ли мне предоставлять ключ доступа для безопасного чтения данных?

Я думаю, что я что-то упускаю, я просмотрел различные статьи и демонстрационные видеоролики Youtube, и везде они просто упоминают путь, но не говорят мне, как настроить путь.

Пожалуйста, помогите мне понять эту концепцию.

Спасибо.

Это мой код для таблицы Delta Live:

CREATE LIVE TABLE customers_raw
COMMENTS "This is raw table"
AS
SELECT *
FROM cloud_files("/raw_data/customers.csv", "csv")

привет @Atanu Chatterjee, предоставьте пример кода. что ты пробовал.

SaiVamsi 05.01.2023 14:28

Сначала следует подключить объектное облачное хранилище к папке DBFS /mnt (learn.microsoft.com/en-us/azure/databricks/dbfs/mounts ). Затем вы можете получить к нему доступ, как вы пытались.

partlov 05.01.2023 17:06

@partlov Маунты больше не рекомендуются

Alex Ott 05.01.2023 19:49

@AlexOtt спасибо, я этого не заметил. Я вижу, что он устарел на странице документации для Azure, но глядя на документацию AWS, я вижу только, что он не работает с каталогом Unity, но не могу найти такое же сообщение об устаревании, как в документе Azure.

partlov 06.01.2023 14:50

learn.microsoft.com/en-us/azure/databricks/external-data/…

Alex Ott 06.01.2023 14:56
Стоит ли изучать PHP в 2023-2024 годах?
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
1
5
82
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Вам нужно указать полный URL для этой папки, например, abfss://<container>@<storage>.dfs.core.windows.net/raw_data/customers.csv. В противном случае, если вы укажете его /raw_data/customers.csv, он будет считать его папкой на DBFS и не сможет. Обратите внимание, что в этом случае вам нужно будет настроить соответствующие свойства Spark, чтобы DLT мог получить доступ к данным — вы можете найти это в следующем ответе.

Один вопрос относительно удобства использования, если это, например, место, где хранится некоторая дельта-таблица, и мы не используем монтирование, а этот подход, как будет работать доступ, если люди будут запрашивать эти данные, скажем, через хранилище SQL? Смогут ли они получить доступ к данным?

partlov 06.01.2023 14:56

Если в конфигурации DLT указано target, то DLT создаст записи в хранилище метаданных для таблиц, указывающих на это местоположение, чтобы люди могли просто работать с этими таблицами по их именам. Вам просто нужно убедиться, что ваши хранилища SQL правильно настроены для доступа к этому месту хранения.

Alex Ott 06.01.2023 14:59

Другие вопросы по теме