Использование обычной базы данных в качестве хранилища данных

Может ли кто-нибудь сказать мне, каковы последствия при попытке использовать обычную базу данных в качестве хранилища данных?

Я понимаю, что хранилище данных известно тем, что хранит данные в более структурированном виде, но каковы последствия использования стандартной базы данных для достижения того же результата? Можно ли просто создать обычную таблицу базы данных со структурированными данными, как если бы она находилась в хранилище данных?

Что вы имеете в виду под «обычной базой данных»?

Sam M 16.10.2018 18:49

@SamM Просто обычная база данных, такая как MS SQL Server или Oracle.

Farhan Ahmad 16.10.2018 19:14

Что вы понимаете под «хранилищем данных»? :-)

amirouche 15.08.2021 12:12
ReactJs | Supabase | Добавление данных в базу данных
ReactJs | Supabase | Добавление данных в базу данных
Это и есть ваш редактор таблиц в supabase.👇
0
3
169
2

Ответы 2

Проблема не в структуре данных, а в оптимизации.

Базы данных OLTP, такие как SQLS, оптимизированы для надежной записи транзакций. Они хранят данные в виде записей и широко используют дисковый ввод-вывод.

Базы данных бизнес-аналитики, такие как Redshift или Teradata, оптимизированы для запроса данных. Они хранят данные в виде столбцов и часто находятся только в памяти (без дискового ввода-вывода).

В результате традиционные базы данных лучше справляются с получением данных, в то время как базы данных бизнес-аналитики лучше справляются с получением данных (обе платформы пытаются смягчить свои недостатки, поэтому разница размывается).

На практике вы можете использовать обычные базы данных, такие как SQLS, для создания хранилища данных без каких-либо проблем, если только ваши потребности не являются особыми:

  • Размер данных велик (миллиарды записей)
  • Скорость обновления высокая (час / минута / реальное время)
  • Вы собираетесь использовать живое соединение с инструментами бизнес-аналитики, такими как Tableau или PowerBI (в отличие от загрузки в них извлечения данных).
  • Ваши запросы очень сложны и требуют больших вычислительных ресурсов

Вы также можете комбинировать обе платформы. Импортируйте, обрабатывайте, интегрируйте и храните данные в обычной базе данных, а затем преобразуйте их в звездообразную схему (размерную модель) и опубликуйте в базе данных бизнес-аналитики (т.е. сохраните нормализованные данные в SQLS и опубликуйте звездную схему в Redshift).

Если вы собираетесь импортировать данные в инструменты бизнес-аналитики, такие как Tableau или PowerBI, вы можете безопасно использовать любую традиционную базу данных, поскольку они полагаются на свои внутренние механизмы, а использование базы данных бизнес-аналитики не даст вам никаких преимуществ.

хранилища данных также будут иметь избыточные или повторяющиеся данные в них, а не совсем то, что вы ищете в обычной базе данных

Другие вопросы по теме