Удаление «Дубликатов» записей, в которых данные некоторых столбцов имеют значение NULL

Вы можете использовать следующий подход:

1. Выполните самостоятельное левое соединение в столбце A (плюс добавьте сюда условие, при котором столбцы B, C, D не равны).
2. Используйте CASE WHEN, чтобы пометить строки цифрой 0, если левая часть соединения дублирует правую сторону; и с 0 в противном случае.
3. Для каждой строки вычислите, повторяется ли она хотя бы один раз (MAX(dedup) OVER(...)), и отфильтруйте по ней (QUALIFY ...).
4. Наконец, выберите только DISTINCT строк, чтобы избежать дублирования.

Два примечания:

1. Это не работает, если B, C, D имеют значения NULL и это единственная строка для значения столбца A. Если для вас это проблема, можно изменить запрос. Я не делал этого здесь, поскольку считаю, что это усложнит понимание кода и отвлечет от основной идеи.
2. Если вы имели в виду какие-то другие/дополнительные условия, позволяющие считать строку дубликатом, не стесняйтесь корректировать определение поля dedup.

WITH data AS (
  SELECT 'A' AS col_a, NULL AS col_b, 'AAAA' AS col_c, NULL AS col_d
  UNION ALL
  SELECT 'A' AS col_a, 'BBBB' AS col_b, 'AAAA' AS col_c, 'CCCC' AS col_d
  UNION ALL
  SELECT 'B' AS col_a, 'DDDD' AS col_b, NULL AS col_c, 'EEEE' AS col_d
  UNION ALL
  SELECT 'B' AS col_a, 'FFFF' AS col_b, NULL AS col_c, 'GGGG' AS col_d
  UNION ALL
  SELECT 'B' AS col_a, 'HHHH' AS col_b, NULL AS col_c, 'IIII' AS col_d
  UNION ALL
  SELECT 'B' AS col_a, 'HHHH' AS col_b, 'JJJJ' AS col_c, 'IIII' AS col_d
  UNION ALL
  SELECT 'C' AS col_a, 'AAAA' AS col_b, 'BBBB' AS col_c, 'CCCC' AS col_d
  UNION ALL
  SELECT 'D' AS col_a, NULL AS col_b, NULL AS col_c, NULL AS col_d
  UNION ALL
  SELECT 'E' AS col_a, NULL AS col_b, NULL AS col_c, NULL AS col_d
  UNION ALL
  SELECT 'E' AS col_a, 'AAAA' AS col_b, 'BBBB' AS col_c, 'CCCC' AS col_d
  ),

processed AS (
    SELECT
      d1.col_a,
      d1.col_b,
      d1.col_c,
      d1.col_d,
      CASE
        WHEN (
            (d1.col_b IS NULL OR d1.col_b = d2.col_b)
            AND (d1.col_c IS NULL OR d1.col_c = d2.col_c)
            AND (d1.col_d IS NULL OR d1.col_d = d2.col_d)
        )
        THEN 1
        ELSE 0
      END AS dedup
      FROM data d1
    LEFT JOIN data d2 ON d1.col_a = d2.col_a AND hash(d1.col_b, d1.col_c, d1.col_d) != hash(d2.col_b, d2.col_c, d2.col_d)
    QUALIFY MAX(dedup) OVER(PARTITION BY d1.col_a, d1.col_b, d1.col_c, d1.col_d) = 0
)

SELECT DISTINCT
    col_a,
    col_b,
    col_c,
    col_d
FROM processed
ORDER BY 1,2,3,4

ты можешь попробовать:

WITH CTE1 AS (
    SELECT DISTINCT
        COLUMN A,
        COLUMN B,
        COLUMN C,
        COLUMN D,
        COLUMN E,
        COLUMN F
    FROM SOURCE_TABLE 
    WHERE SOURCE = '1'
),
CTE2 AS (
    SELECT DISTINCT
        COLUMN A,
        COLUMN B,
        COLUMN C,
        COLUMN D,
        COLUMN E,  
        COLUMN F
    FROM SOURCE_TABLE 
    WHERE SOURCE = '2'
),   
CTE3 AS (
    SELECT DISTINCT
        COLUMN A,
        COLUMN B,
        COLUMN C,
        COLUMN D,
        COLUMN E,
        COLUMN F
    FROM SOURCE_TABLE 
    WHERE SOURCE = '3'
),
BASE_CTE AS (
    SELECT
        COLUMN A,
        COLUMN B,
        COLUMN C,
        COLUMN D,
        MAX(COLUMN E) AS COLUMN E,
        LISTAGG(COLUMN F, ', ') WITHIN GROUP (ORDER BY COLUMN F) AS COLUMN F
    FROM (
        SELECT COLUMN A, COLUMN B, COLUMN C, COLUMN D, COLUMN E, COLUMN F FROM CTE1
        UNION ALL
        SELECT COLUMN A, COLUMN B, COLUMN C, COLUMN D, COLUMN E, COLUMN F FROM CTE2
        UNION ALL
        SELECT COLUMN A, COLUMN B, COLUMN C, COLUMN D, COLUMN E, COLUMN F FROM CTE3
    ) 
    GROUP BY COLUMN A, COLUMN B, COLUMN C, COLUMN D
)
SELECT 
    COLUMN A,
    COLUMN B,
    COLUMN C,
    COLUMN D,
    COLUMN E,
    COLUMN F
FROM BASE_CTE;