Импорт новой таблицы базы данных

Там, где я нахожусь, есть основная система, работающая на большом мэйнфрейме AIX. Для создания отчетов и операций каждую ночь выполняется дамп с мэйнфрейма в SQL Server, так что каждый из наших 50-ти клиентов находится в своей собственной базе данных с идентичными схемами. На создание этого дампа уходит около 7 часов каждую ночь, и на самом деле мы ничего не можем с этим поделать: мы застряли на том, что предоставил поставщик приложения.

После выгрузки на сервер sql мы используем его для выполнения ряда других ежедневных процедур. Одна из этих процедур - импортировать данные в своего рода изолированную таблицу отчетов для управления, которая объединяет записи из особенно важной таблицы из разных баз данных в одну таблицу, которую менеджеры, не знающие sql, могут использовать для запуска специальных отчетов. без заливки остальной системы. Это опять же дело бизнеса: менеджеры хотят этого, и у них есть возможность увидеть, как мы это реализуем.

Процесс импорта этой таблицы сам по себе занимает пару часов. Он фильтрует около 40 миллионов записей, распределенных по 50 базам данных, примерно до 4 миллионов записей, а затем индексирует их по определенным столбцам для поиска. Даже в несколько часов это меньше, чем треть начальной загрузки, но у нас не хватает времени для ночной обработки, мы не контролируем дамп мэйнфрейма, и мы это контролируем. Поэтому мне было поручено найти способы улучшить существующую процедуру.

В настоящее время философия заключается в том, что быстрее загружать все данные из каждой клиентской базы данных, а затем индексировать их за один шаг. Кроме того, чтобы избежать зависания других важных систем в случае, если он работает долго, несколько более крупных клиентов настроены на то, чтобы всегда запускаться первыми (основной индекс в таблице находится по полю clientid). Еще одна вещь, которую мы начинаем делать, - это загружать данные от нескольких клиентов одновременно, а не от каждого клиента последовательно.

Итак, мой вопрос: какой способ загрузки этой таблицы был бы наиболее эффективным? Правы ли мы, считая, что индексация позже лучше? Или мы должны создать индексы перед импортом данных? Должны ли мы загружать таблицу в порядке индекса, чтобы избежать массового переупорядочения страниц, а не сначала крупным клиентам? Может ли параллельная загрузка усугубить ситуацию, вызвав одновременный доступ к большому количеству дисков или лишив нас возможности контролировать порядок? Есть другие идеи?

Обновлять
Что ж, что-то не так. Мне удалось провести некоторые тесты производительности в течение дня, и нет никакой разницы во времени загрузки, создаются ли индексы в начале или в конце операции, но мы экономим время на построение самого индекса (т.е. конечно строится почти мгновенно без данных в таблице).