Как создать новый столбец для категоризации продуктов на основе отдельной комбинации других столбцов со значениями NULL

У меня есть таблица MySQL 5.7, в которой хранятся продукты. Столбцы узлов относятся к категориям и подкатегориям. Среди этих узлов только node_0 и node_4 гарантированно будут не NULL, тогда как остальные могут иметь или не иметь NULL. Эта таблица будет использоваться для обработки продуктов в пакетах на основе уникальных комбинаций значений их узлов (unique_cat). В каждой уникальной комбинации может быть от 1 до 50 товаров. Имена отдельных узлов не уникальны (т. е. node_i может иметь то же имя, что и node_k), но комбинации этих узлов уникальны.

Один воспроизводимый пример выглядит следующим образом:

    CREATE TABLE products (
    product_id int(11) NOT NULL AUTO_INCREMENT,
    node_0 varchar(400) DEFAULT NULL,
    node_1 varchar(400) DEFAULT NULL,
    node_2 varchar(400) DEFAULT NULL,
    node_3 varchar(400) DEFAULT NULL,
    node_4 varchar(255) DEFAULT NULL,
    PRIMARY KEY (id)
);

INSERT INTO products (node_0, node_1, node_2, node_3, node_4) VALUES
('a_0', NULL, NULL, NULL, 'a_1'),
('a_0', NULL, NULL, NULL, 'a_1'),
('a_2', 'a_1', NULL, NULL, 'a_1'),
('a_0', NULL, NULL, 'a_3', 'a_2'),
('a_3', NULL, NULL, 'a_0', 'a_2'),
('a_0', NULL, NULL, NULL, 'a_2'),
('a_2', 'a_1', NULL, NULL, 'a_1')

Мне нужно создать новый столбец unique_cat, который будет числом, представляющим различные значения комбинации node_0, node_1, node_2, node_3 и node_4. Я не уверен, как обрабатывать значения NULL в этом контексте. Ожидаемый результат:

| node_0 | node_1 | node_2 | node_3 | node_4 | unique_cat |
|--------|--------|--------|--------|--------|------------|
| a_0    | NULL   | NULL   | NULL   | a_1    | 0          |
| a_0    | NULL   | NULL   | NULL   | a_1    | 0          |
| a_2    | a_1    | NULL   | NULL   | a_1    | 1          |
| a_0    | NULL   | NULL   | a_3    | a_2    | 2          |
| a_3    | NULL   | NULL   | a_0    | a_2    | 3          |
| a_0    | NULL   | NULL   | NULL   | a_2    | 4          |
| a_2    | a_1    | NULL   | NULL   | a_1    | 1          |

При работе только с узлами node_0 и node_4 работает следующий подход:

# Create a unique combination of node_0,node_4 with unique IDs
unique_cat_df = df \
      .select("node_0", "node_4") \
      .distinct() \
      .withColumn("unique_cat", monotonically_increasing_id())

# Join the unique combinations back to the original DataFrame
df_with_cat_ids = df.join(
      unique_cat_df,
      on=["node_0", "node_4"],
      how = "left"
)

Однако когда я пытаюсь включить узлы, которые могут иметь значение NULL, это работает не так, как ожидалось. Вот что я пробовал:

placeholder = "___NULL___"
df = df_0 \
    .withColumn("node_2", F.when(col("node_2").isNull(), placeholder).otherwise(col("node_2"))) \
    .withColumn("node_3", F.when(col("node_3").isNull(), placeholder).otherwise(col("node_3")))

# Select columns and create distinct combinations with a unique ID
unique_combinations_df = df \
    .select("node_0", "node_1", "node_2", "node_3", "node_4") \
    .distinct() \
    .withColumn("unique_cat", monotonically_increasing_id())

# Join the unique combinations back to the original DataFrame
df_with_ids = lastest_data_df_2.join(
    unique_combinations_df,
    on=["current_node", "node_1", "node_2", "node_3", "root_node"],
    how = "left"
)

Этот подход не работает. Есть идеи или предложения? Спасибо!

Обновление: решено!

После долгих головоломок, перерывов на кофе и размышлений о смысле жизни я обнаружил причину, по которой мой код не работает должным образом:

🥁 барабанная дробь 🥁

Я забыл заменить значения NULL в node_1! 🚨

Как мне стыдно... 🙂