Эффективный способ проверки строки большого числа, существующей в базе данных

Трудно найти оптимальное решение при таком малом количестве информации. Часто это зависит от сетевой задержки между приложением и сервером базы данных и аппаратными ресурсами.

1. Вы можете загрузить 100 000 000 unique_code_string из базы данных и использовать HashSet или TreeSet для дедупликации в памяти перед вставкой в ​​базу данных. Если ваш сервер базы данных ограничен в ресурсах или существует значительная задержка в сети, это может быть быстрее.

2. В зависимости от того, как вы получаете дельту из 100 000 записей, вы можете загрузить ее в базу данных, например. файл CSV можно прочитать с помощью внешняя таблица. Если вы можете эффективно получить данные во временную таблицу, а сервер базы данных не перегружен, вы можете сделать это очень эффективно с помощью SQL или хранимой процедуры.

Вы должны потратить некоторое время, чтобы понять, насколько в реальном времени должно быть обновление, например. сколько SQL-запросов считывает таблицу из 100 000 000 строк, и можете ли вы разрешить отмену или блокировку некоторых из этих SQL-запросов при обновлении строк. Часто хорошей идеей является создание теневой таблицы:

• Создайте новую таблицу как копию существующей таблицы из 100 000 000 строк.
• Отключить индексы в новой таблице
• Загрузите дельта-строки в новую таблицу
• Перестроить индексы в новой таблице
• Удалить существующую таблицу
• Переименуйте новую таблицу в существующую таблицу из 100 000 000 строк.

Подход здесь специфичен для базы данных. Это будет зависеть от того, как ваша база данных определяет индексы, например. если у вас есть секционированная таблица, возможно, в этом нет необходимости.

Загрузите 100 000 строк в таблицу!

Создайте уникальный индекс в исходной таблице:

create unique index unq_bigtable_uniquecodestring on bigtable (unique_code_string);

Теперь у вас есть необходимые инструменты. Я думаю, что я бы пошел на транзакцию, что-то вроде этого:

insert into bigtable ( . . . )
    select . . . 
    from smalltable;

Если произойдет сбой какой-либо строки (из-за уникального индекса), транзакция завершится ошибкой, и ничего не будет вставлено. Вы также можете быть явным:

insert into bigtable ( . . . )
    select . . . 
    from smalltable
    where not exists (select 1
                      from smalltable st join
                           bigtable bt
                           on st.unique_code_string = bt.unique_code_string
                      );

Для этой версии у вас также должно быть ограничение индекса/уникальности для smalltable(unique_code_string).