Pyspark: поиск регулярных выражений с текстом в списке withColumn

Я новичок в Spark, и у меня возникла глупая проблема «какой лучший подход». По сути, у меня есть карта (dict), которую я хотел бы перебрать. Во время каждой итерации я хочу выполнить поиск по столбцу в фрейме данных искры, используя регулярное выражение rlike, и назначить ключ словаря новому столбцу, используя withColumn

maps = {"groceries": ["hot chocolate", "milk", "sugar", "flour"],
        "laundry": ["soap", "detergent", "fabric softener"]
}

Пример данных показан ниже

+--------------------+-----------+
|                  id|item_bought|
+--------------------+-----------+
|uiq7Zq52Bww4pZXc3xri|       Soap|
|fpJatwxTeObcbuJH25UI|  Detergent|
|MdK1q5gBygIGFYyvbz8J|       Milk|
+--------------------+-----------+

Я хочу получить фрейм данных, который выглядит так:

+--------------------+-----------+---------+
|                  id|item_bought|    class|
+--------------------+-----------+---------+
|uiq7Zq52Bww4pZXc3xri|       Soap|  Laundry|
|fpJatwxTeObcbuJH25UI|  Detergent|  Laundry|
|MdK1q5gBygIGFYyvbz8J|       Milk|Groceries|
+--------------------+-----------+---------+

У меня более 100 млн записей, и мне нужен подход, основанный на передовом опыте Spark (распределенные вычисления). Один из подходов, который приходит на ум, — пройтись по карте и использовать rlike или str.contains для поиска по регулярному выражению, как показано ниже:

for key, value in maps.items():
    pattern = '|'.join([f'(?i){x}' for x in value]). # ignore case
    df.withColumn("class", col("item_bought").rlike(pattern))

Но это возвращает true или false для rlike поиска. Я хочу заменить true или false значением key.

Кроме того, учитывая, что у меня есть 100 млн (до 150 млн) записей, является ли циклический просмотр карты лучшим подходом?

РЕДАКТИРОВАТЬ

Что, если бы items_bought в df были специальные символы (или дополнительный текст)?

+--------------------+----------------+
|                  id|     item_bought|
+--------------------+----------------+
|uiq7Zq52Bww4pZXc3xri|   Soap -&ju10kg|
|fpJatwxTeObcbuJH25UI|Detergent x.ju2i|
|MdK1q5gBygIGFYyvbz8J|            Milk|
+--------------------+----------------+

Я не хочу сначала очищать текст, просто назначаю классы на основе поиска по ключевым словам регулярного выражения.