Как обеспечить уникальность двух столбцов в пределах третьего?

Пристегнитесь. Это продвинутое решение.
Сначала установите два дополнительных модуля (по одному на каждую базу данных): intarray и btree_gist . Тогда мы сможем добиться этой цели с помощью единственного ограничения исключения:

CREATE EXTENSION intarray;    -- required!
CREATE EXTENSION btree_gist;  -- required!

CREATE TABLE tbl (
  column_scope text NOT NULL
, col1 int  -- can be null
, col2 int  -- can be null
);

-- Add THIS exclusion constraint !!!
ALTER TABLE tbl ADD CONSTRAINT tbl_cross_col_unique
EXCLUDE USING gist (column_scope WITH =
                  , array_remove(ARRAY[col1, col2], null) gist__int_ops WITH &&);

рабочий пример

По сути, ограничение исключения не позволяет «перекрывать» массивы, построенные из col1 и col2 для одного и того же column_scope.

Обратите внимание, что я предполагаю, что наберу integer вместо col1 и col2. Все просто. Для других типов нужно сделать больше...

Вы хотите разрешить нулевые значения в col1 и col2. Поэтому исключите их из ограничения исключения. Удачное совпадение: нулевые значения в любом случае не допускаются в сгенерированный массив.
Руководство по array_remove():

Сравнения выполняются с использованием семантики IS NOT DISTINCT FROM, поэтому можно удалить NULL.

Все становится на свои места.

Здесь есть много сложных деталей, касающихся типов данных, индексного метода, класса оператора, нулевых значений, оптимизации индекса... Но это выходит за рамки простого вопроса и входит в сферу платного консультирования.

Близкий случай с более подробной информацией:

• Обеспечьте уникальность в двух столбцах

Альтернативы

Альтернативно вы можете объединить col1 и col2 в один столбец отдельной таблицы в отношении 1:n (и добавить тег для определения типа). Либо замените то, что у вас есть сейчас, либо дополнительно, просто чтобы обеспечить соблюдение вашего ограничения. Затем можно применить простое ограничение UNIQUE. Видеть:

• Может ли PostgreSQL иметь ограничение уникальности элементов массива?

Более простой случай: просто запретите составные дубликаты с переключаемыми значениями.

Этот индекс выражения реализует индекс UNIQUE, где (1,2) и (2,1) для (col1, col2) считаются равными:

CREATE UNIQUE INDEX tbl_uni_idx ON tbl
   (column_scope, GREATEST(col1, col2), LEAST(col1, col2));

Видеть:

• Как создать таблицу Postgres с уникальным комбинированным первичным ключом?

Нулевые значения не считаются равными, если вы не добавите предложение NULLS NOT DISTINCT, для которого требуется Postgres 15 или более поздняя версия. Видеть:

• Создайте уникальное ограничение с нулевыми столбцами