Повышение производительности при загрузке столбца clob в таблицу Oracle из столбца varchar (max) в таблице SQL Server при использовании интегратора данных pentaho

Я пытаюсь загрузить несколько миллионов записей из таблицы SQL Server (в которой есть несколько целочисленных столбцов и столбец varchar(max)) в таблицу Oracle идентичной структуры, где столбец clob получает текст varchar(max).

Инструмент ETL, который я использую, - это интеграция данных Pentaho (PDI) с использованием простого преобразования. При запуске преобразования скорость чтения / записи записи составляет 150 об / с. Но когда я не включил столбец CLOB в шаг вывода таблицы, скорость составила 5000 об / с. Есть ли способ улучшить целевую скорость записи?

Поле varcharmax содержит текст длиной в десятки тысяч.

Zir21 26.10.2018 05:10
Стоит ли изучать PHP в 2023-2024 годах?
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
1
1
244
1

Ответы 1

На самом деле я могу поспорить, что это не целевая проблема, а проблема источника. Учтите, что текст размером с clob должен быть большим текстом !, поэтому извлечение его из источника может быть проблемой.

Вы можете попробовать «Вывод текстового файла», чтобы записать содержимое в текстовый файл, а затем отправить его в целевую базу данных. В некоторых случаях установка размера пакета помогает улучшить сценарий вставки. Все зависит от шагов, которые вы используете для достижения своей цели.

Другие вопросы по теме