Подходит ли облачный сервис для этого приложения?
Я ищу подробную информацию о появляющихся облачных сервисах (например, Amazon / Azure), и мне интересно, подойдут ли они для моего приложения.
Мое приложение в основном имеет базу данных с одной таблицей размером около 500 ГБ. Вырастает на 3-5 Гб / день. Мне нужно извлечь из него текстовые данные, около 1 миллиона строк за раз, фильтруя около 5 столбцов. Эти извлеченные данные обычно имеют размер около 1–5 ГБ и архивируются до 100–500 МБ, а затем становятся доступными в Интернете.
Здесь есть некоторые детали моей существующей реализации Одна таблица 400 ГБ, один запрос - нужны идеи настройки (SQL2005)
Итак, мой вопрос: Подойдут ли существующие облачные сервисы для размещения такого типа приложений? Сколько будет стоить хранение такого объема данных и пропускной способности (использование пропускной способности составит около 2 ГБ в день)?
Подходят ли системы сохраняемости для хранения таких больших плоских таблиц, и предлагают ли они возможность поиска по нескольким столбцам?
Моя текущая реализация работает на оборудовании стоимостью менее 10 тысяч долларов, поэтому не имеет смысла переходить, если затраты намного выше, чем, скажем, 5 тысяч долларов в год.
Да, несколько ГБ (сжатые до нескольких сотен мегабайт) должны быть доступны. Кроме того, необходимо загрузить 3-5 ГБ (также сжатые в 10 раз), добавленные в БД.
предполагая, что это NOSQL, исходя из того факта, что это одна таблица. это правильно?
Ответы 2
Учитывая большой объем данных и скорость его роста, я не думаю, что Amazon будет хорошим вариантом. Я предполагаю, что вы захотите хранить данные в постоянном хранилище. Но с EC2 вам нужно выделить определенный объем хранилища и подключить его как диск. Если вы не хотите выделить действительно большой объем дискового пространства (а затем будете платить за неиспользуемое дисковое пространство), вам придется постоянно добавлять новые диски. Я сделал быстрый подсчет envalop и оценил, что хостинг будет стоить от 2500 до 10000 долларов в год. Мне сложно оценить точно из-за всех переменных вещей, за которые взимает плату Amazon (время безотказной работы экземпляра, пространство для хранения, пропускная способность, диск io и т. д.). Вот Цены на EC2.
Почему бы не использовать базу данных документов? Почему реляционная база данных запрашивает только одну таблицу? NoSQL db намного быстрее в таких подходах, и, например, MongoHQ предлагает SSD-накопители, которые подойдут для такого рода приложений ... почему EC2? Почему реляционная БД?
Предполагая, что это нереляционные данные (не могут выполнять реляционные данные в одной таблице), вы можете рассмотреть возможность использования хранилища таблиц Azure, которое представляет собой механизм хранения, предназначенный для нереляционных структурированных данных.
Проблема, с которой вы столкнетесь, заключается в том, что таблицы Azure имеют только первичный индекс и поэтому не могут быть проиндексированы по 5 столбцам, как вам нужно. Если вы не сохраняете данные 5 раз, каждый раз индексируя их по столбцу, по которому вы хотите выполнить фильтрацию. Не уверен, что это сработает очень рентабельно.
Стоимость хранилища таблиц Azure составляет от 8 центов за гигабайт в месяц, в зависимости от того, сколько данных вы храните. Существуют также сборы за транзакцию и сборы за исходящие данные. Для получения дополнительной информации о ценах проверьте здесь; http://www.windowsazure.com/en-us/pricing/calculator/advanced/
Откуда вам нужно получить доступ к этим данным? Как это написано?
Исходя из этого, можно было бы рассмотреть и другие варианты, например диски Azure и т. д.
Должны ли данные быть доступны откуда-то еще? Если нет, зачем вам платить «за использование полосы пропускания около 2 ГБ в день»?