Как быстро разделить таблицы SQL на 10 миллиардов строк с помощью AWS?

Если вы используете простой RDS (по общему признанию, разумную машину), правильный ли индекс не работает для всего набора данных? Это немного похоже на Проблема XY в том смысле, что вы придумали решение, а не проблему.

Пожалуйста, уточните, что вы имеете в виду. Какова ваша "база данных SQL", это красное смещение? (красное смещение не выполняет внутреннее разбиение), если вы используете спектр красного смещения / афину, вы можете размещать свои данные в сегментах s3, но они обычно могут быть довольно большими. Главное, чтобы конкретизировать то, что вы пытаетесь сделать? какой вариант использования? где сейчас данные и какие проблемы вы пытаетесь преодолеть?

Текущая база данных SQL - это SQL Server 2016. Сценарий использования состоит в том, что извлечение данных для одного элемента из этой таблицы занимает много времени, поэтому я пытаюсь разбить очень большую таблицу на множество таблиц по элементам, поскольку мне всегда нужен только один элемент в время. Когда я говорю «долгое время», я имею в виду несколько минут для запроса, но если я хочу извлечь эти данные для создания полной истории элемента (манипулировать данными), это может занять несколько недель. Если я разделю его по элементам, запрос сократится до миллисекунд вместо минут. Но разбиение на разделы по-прежнему занимает много времени.

Чтобы быть более конкретным, я смотрю на финансовые данные на уровне запасов. У меня есть огромная таблица значений, отражающих характеристики компаний. У меня около 40К компаний и примерно 5000 характеристик. Кроме того, эта база данных сильно нормализована, поэтому фактические названия компаний и даты находятся в других таблицах. Я хочу рассматривать только одну характеристику за раз, поэтому разделение большой таблицы на отдельные таблицы по характеристикам дает 5000 таблиц, каждая из которых содержит исторические данные для всех компаний для этой конкретной характеристики.

Чтобы уточнить, это будет 5000 разделов, по 2000000 строк на раздел.

@quantcoder. . . Ваша выборочная оценка относится к 5000 строкам, откуда и исходит эта оценка.

извините, я имею в виду 5000 itemID, а не строк. Один itemID может ссылаться на несколько миллионов строк в этой таблице. Чтобы быть конкретным, я имею дело с финансовыми данными по компаниям, где 5000 - это количество характеристик, которые у меня есть в моей базе данных. У меня есть исторические данные о более чем 40 000 компаний за более чем 20 лет. Когда я запрашиваю в базе данных одну характеристику для одного момента времени по всем компаниям, это занимает много времени. Если я разбиваю большую таблицу по характеристикам, мои запросы значительно улучшаются. Однако разбиение таблицы по характеристикам все равно занимает 25 минут.

@quantcoder. . . Время также обычно используется для разбиения на разделы. Но то, что вы говорите, имеет смысл.

конкретная проблема, которую я пытаюсь решить, - это время, необходимое для извлечения нескольких строк, относящихся к одному идентификатору элемента.