Поддерживает ли Purview информацию о происхождении для встроенных наборов данных потока данных ADF?
Недавно я изучал Azure Purview и пытался передать информацию о происхождении из ADF в Azure Purview. Однако кажется, что когда мы принимаем данные в формате Delta, используя поток данных в ADF (который является встроенным форматом для потока данных), он не фиксирует информацию о происхождении. Принимая во внимание, что он фиксирует информацию о происхождении при погружении с использованием «набора данных» в формате «Паркет». Это то, что я что-то упускаю здесь, или это ошибка, или функция, которую необходимо устранить?
Я думаю, нам нужна некоторая оптимизация здесь.
Ответы 2
В документации указано, что на сегодняшний день поддерживаются только источники и приемники:
В нем также говорится, что «происхождение для преобразования потока данных еще не поддерживается». Поэтому я не уверен, что вы подразумеваете под «встроенным форматом» - считается ли это преобразованием? Если это так, то это указывает на то, почему родословная с фабрикой данных Azure (ADF) и Purview еще не работает, но указывает, что она может работать в какой-то момент в будущем.
Следите за обновлениями документации:
https://learn.microsoft.com/en-us/azure/data-factory/turorial-push-lineage-to-purview
Происхождение Delta Lake из потока данных ADF сейчас не поддерживается в Azure Purview. Это известное ограничение, и мы работаем над его устранением. В настоящее время нет ETA.
В ответ на один из комментариев Inline наборы данных являются источниками и приемниками в сопоставлении потоков данных, которым не требуется ресурс набора данных.