Почему Dataframe.to_sql() замедляется после определенного количества строк?

У меня очень большой Pandas Dataframe ~9 миллионов записей, 56 столбцов, который я пытаюсь загрузить в таблицу MSSQL, используя Dataframe.to_sql(). Импорт всего Dataframe в одном операторе часто приводит к ошибкам, связанным с памятью.

Чтобы справиться с этим, я просматриваю Dataframe пакетами по 100 тысяч строк и импортирую пакет за раз. Таким образом, я больше не получаю никаких ошибок, но код резко замедляется примерно после 5,8 миллиона записей. Код, который я использую:

maxrow = df.shape[0]
stepsize = 100000
for i in range(0, maxrow, stepsize):
    batchstart = datetime.datetime.now()
        
    if i == 0:
        if_exists = 'replace'
            
    else:
        if_exists = 'append'
        
    df_import = df.iloc[i:i+stepsize]
        
    df_import.to_sql('tablename', 
                    engine,
                    schema='tmp',
                    if_exists=if_exists,
                    index=False,
                    dtype=dtypes
                    )

Я рассчитал время выполнения партий и обнаружил явный переломный момент в скорости: Эти результаты в основном одинаковы для пакетов по 50 000, 100 000 и 200 000 строк. загрузка 6 миллионов записей занимает около 40 минут, а загрузка следующих 3 миллионов записей — еще 2 часа 20 минут.

Я думал, что это произошло либо из-за размера таблицы MSSQL, либо из-за того, что что-то кэшировалось/сохранялось после каждой загрузки. Из-за этого я попытался поместить Dataframe в две разные таблицы. Я также пробовал что-то вроде expunge_all() на SQLALchemy session после каждой загрузки. И то и другое безрезультатно.

Остановка импорта вручную после 5 миллионов записей и перезапуск с 5 миллионов с новым объектом движка также не помогли.

У меня нет идей, что может быть причиной столь резкого замедления процесса, и я был бы очень признателен за помощь.

ОБНОВЛЯТЬ

В крайнем случае я изменил цикл, загрузив части Dataframe, начиная с самого высокого индекса, и заканчивая циклом вниз.

Это фактически изменило время на партию. Кажется, что сами данные отличаются/больше в дальнейшем в Dataframe. Не перегрузка соединения или слишком большая таблица SQL.

Спасибо всем, кто пытается помочь, но, похоже, мне нужно просмотреть данные, чтобы понять, что является причиной этого.