Я пытаюсь загрузить несколько миллионов записей из таблицы SQL Server (в которой есть несколько целочисленных столбцов и столбец varchar(max)
) в таблицу Oracle идентичной структуры, где столбец clob получает текст varchar(max)
.
Инструмент ETL, который я использую, - это интеграция данных Pentaho (PDI) с использованием простого преобразования. При запуске преобразования скорость чтения / записи записи составляет 150 об / с. Но когда я не включил столбец CLOB в шаг вывода таблицы, скорость составила 5000 об / с. Есть ли способ улучшить целевую скорость записи?
На самом деле я могу поспорить, что это не целевая проблема, а проблема источника. Учтите, что текст размером с clob должен быть большим текстом !, поэтому извлечение его из источника может быть проблемой.
Вы можете попробовать «Вывод текстового файла», чтобы записать содержимое в текстовый файл, а затем отправить его в целевую базу данных. В некоторых случаях установка размера пакета помогает улучшить сценарий вставки. Все зависит от шагов, которые вы используете для достижения своей цели.
Поле varcharmax содержит текст длиной в десятки тысяч.