Концепции Apache Spark + Delta Lake

1) Оставьте это на усмотрение специалистов по данным. Им должно быть удобно работать в регионах серебра и золота, некоторые более продвинутые специалисты по данным захотят вернуться к необработанным данным и проанализировать дополнительную информацию, которая, возможно, не была включена в таблицы серебра/золота.

2) Бронза = необработанные данные в собственном формате/формате дельта-озера. Серебряный = обработанные и очищенные данные в озере дельты. Золото = данные, доступ к которым осуществляется через дельта-озеро или которые помещаются в хранилище данных, в зависимости от бизнес-требований.

3) Дельта-архитектура — это упрощенная версия лямбда-архитектуры. На данный момент дельта-архитектура является коммерческим термином, посмотрим, изменится ли это в будущем.

4) Delta Lake + Spark — самый масштабируемый механизм хранения данных по разумной цене. Вы можете протестировать производительность в соответствии с вашими бизнес-требованиями. Озеро Дельта будет намного дешевле, чем любое хранилище данных для хранения. Ваши требования к доступу к данным и задержке будут более важным вопросом.

5) Kafka, Kinesis или Eventhub — это источники для получения данных с периферии в озеро данных. Озеро Дельта может выступать в качестве источника и стока для потокового приложения. На самом деле очень мало проблем с использованием дельты в качестве источника. Источник дельта-озера находится в хранилище больших двоичных объектов, поэтому мы на самом деле обходим многие проблемы, связанные с инфраструктурой, но добавляем проблемы согласованности хранилища больших двоичных объектов. Озеро дельты как источник потоковых заданий гораздо более масштабируемо, чем концентратор kafka/kinesis/event, но вам все равно нужны эти инструменты для передачи данных с периферии в озеро дельты.

1. Таблицы с медальонами — это рекомендация, основанная на том, как наши клиенты используют озеро Дельта. Вам не нужно точно следовать ему; тем не менее, это хорошо согласуется с тем, как люди проектируют EDW. Что касается машинного обучения и какой таблицы использовать. Это будет выбор людей, занимающихся машинным обучением. Некоторые могут захотеть получить доступ к таблицам Bronze, потому что это необработанные данные, с ними ничего не делалось. Другим может понадобиться Серебряный стол, потому что он считается чистым, хотя и дополненным. Обычно таблицы Gold отличаются высокой точностью и специфичностью, чтобы отвечать на четко определенные бизнес-вопросы.

2. Не совсем. Таблицы Bronze представляют собой необработанные данные о событиях, например. одна строка на событие или измерение и т. д. Серебряные таблицы также относятся к уровню событий/измерений, но они очень усовершенствованы и готовы к запросам, отчетам, информационным панелям и т. д. Золотая таблица может быть таблицами фактов и измерений, агрегированными таблицами. или тщательно подобранные наборы данных. Важно помнить, что Delta не предназначена для использования в качестве транснациональной системы OLTP. Он действительно предназначен для рабочих нагрузок OLAP.

3. Архитектура Delta — это название, которое мы дали конкретной реализации Delta Lake. Это не коммерческий термин как таковой, но, надеюсь, он им станет. Существует достаточно информации, чтобы сравнить и сопоставить архитектуры Kappa и Lambda. Архитектура Delta хорошо описана в документации Delta и в блогах Databricks, технических докладах, видео на YouTube и т. д.

4. Я бы спросил, что именно вы хотите сравнить? Скорость, функции, продукты, ...?

5. Delta Lake не пытается заменить какие-либо системы публикации/подписки обмена сообщениями, у них разные сценарии использования. Delta Lake может подключаться к каждому упомянутому вами продукту как в качестве подписчика, так и в качестве издателя. Не забывайте, что Delta Lake — это открытый уровень хранения, обеспечивающий транзакции, совместимые с ACID, высокую производительность и высокую надежность для озер данных.

Луи.