Повышение производительности при загрузке столбца clob в таблицу oracle из столбца varchar (max) в таблице sql server при использовании интегратора данных pentaho

Я пытаюсь загрузить несколько миллионов записей из таблицы SQL Server (в которой есть несколько целочисленных столбцов и столбец varchar(max)) в таблицу Oracle идентичной структуры, где столбец clob получает текст varchar(max).

Инструмент ETL, который я использую, - это интеграция данных Pentaho (PDI) с использованием простого преобразования. При запуске преобразования скорость чтения / записи записи составляет 150 об / с. Но когда я не включил столбец CLOB в шаг вывода таблицы, скорость составила 5000 об / с. Есть ли способ улучшить целевую скорость записи?

Поле varcharmax содержит текст длиной в десятки тысяч.

Zir21 26.10.2018 05:10
1
1
244
1

Ответы 1

На самом деле я могу поспорить, что это не целевая проблема, а проблема источника. Учтите, что текст размером с clob должен быть большим текстом !, поэтому извлечение его из источника может быть проблемой.

Вы можете попробовать «Вывод текстового файла», чтобы записать содержимое в текстовый файл, а затем отправить его в целевую базу данных. В некоторых случаях установка размера пакета помогает улучшить сценарий вставки. Все зависит от шагов, которые вы используете для достижения своей цели.

Другие вопросы по теме