Улучшите порядок в 280 миллионах строк столбца
У меня есть приложение, которое показывает записи таблицы SQL Server внутри сетки после применения нумерации страниц. Пользователь может фильтровать или применять порядок к любому столбцу.
Проблема возникает, когда эта таблица становится слишком большой, например, на 280 миллионов записей. Когда пользователь применяет порядок к любому из своих столбцов, SQL Server начинает тратить много времени на упорядочивание записей и отображение 20 лучших записей внутри сетки.
Я знаю, что если я применю к нему индекс, результаты будут быстрее, но я не знаю, сколько столбцов пользователь может использовать для упорядочивания, и я не могу применить столько индексов.
Есть ли способ повысить производительность? Вы готовы дать мне предложения относительно других СУБД.
Я пытался применить индексы, и это работает, но мне нужны другие, лучшие решения, помимо индексов.
К сожалению, да, мы применили сортировку и фильтрацию к 280 миллионам строк, чтобы пользователь мог выполнять аудит.
Я думаю, тогда это будет медленно.
Возможно, вы сможете повысить производительность, используя индекс Columnstore. Иначе я тоже не знаю. Возможно, добавьте несколько фильтров, которые аудиторы должны будут применять перед прокруткой 280 миллионов строк. Например, диапазон лет является обычным.
Сколько столбцов в вашей таблице? Может ли пользователь каждый раз выполнять сортировку по нескольким столбцам или только по одному столбцу? 280 миллионов — это много записей, но если у вас, скажем, всего 4–7 столбцов, вы можете просто использовать индекс для каждого столбца и покончить с этим. Конечно, добавление индекса означает использование большего объема памяти, и это вам следует учитывать.
Если цель предназначена для целей аудита, можете ли вы загрузить данные в хранилище данных (таблицы фактов/измерений)
@ZoharPeled, у меня в таблице 250 столбцов. Пользователь может сортировать только один столбец за раз.
@ZulfiqarAli, можете ли вы рассказать что-нибудь о схеме, распределении данных и о том, как вы пытаетесь сортировать данные, пожалуйста?
Ответы 1
У меня была именно эта проблема: в моем случае я использовал Datatables.js и получал строки на стороне сервера, создавая (ложную!!) иллюзию бесконечной прокрутки.
Мне пришлось сделать некоторые незавершенные вещи, чтобы сделать его пригодным для использования.
Некоторое время следите за тем, как пользователи выбирают порядок сортировки, чтобы определить общий порядок, который им нужен.
Соберите запросы для этих общих порядков, а затем запустите их НА РЕАЛЬНЫХ ДАННЫХ, а не на сервере разработки, в SSMS с включенным параметром «Показать фактический план выполнения». Запишите все индексы, предложенные планом.
Сделайте это для всех популярных упорядочений, а затем изучите индексы, чтобы увидеть, есть ли у них какие-либо общие крайние левые столбцы.
Создайте индекс и посмотрите, улучшатся ли планы.
Повторяйте до тех пор, пока ситуация не улучшится настолько, что жалобы пользователей превратятся в глухой рев.
Добавьте несколько элементов пользовательского интерфейса, чтобы пользователи знали о медлительности.
Если вы оставите в своем приложении логику захвата запросов, вы сможете ответить другим индексом, если он очень нужен пользователю.
Это своего рода некий беспорядок, который нужно решить, чтобы удовлетворить пользователей такого рода функции извлечения данных. Удачи.
Хм, действительно ли пользователю нужно иметь возможность сортировать 280 000 000 записей? С точки зрения пользователя это кажется совершенно неуправляемым. Я бы подумал, что вы могли бы предварительно отфильтровать это до количества строк, которое действительно может понять человек.