Разделить один столбец на основе значения другого столбца в pyspark

Вы можете использовать pyspark.sql.functions.expr для передать значение столбца в качестве параметра для regexp_replace. Здесь вам нужно соединить отрицательный просмотр назад для item с .+, чтобы сопоставить все после, и заменить пустой строкой.

from pyspark.sql.functions import expr

df.withColumn(
    "rel_path", 
    expr("regexp_replace(path, concat('(?<=',item,').+'), '')")
).show()
#+----+-------+--------+
#|item|   path|rel_path|
#+----+-------+--------+
#|   a|  a/b/c|       a|
#|   b|  e/b/f|     e/b|
#|   d|e/b/d/h|   e/b/d|
#|   c|  g/h/c|   g/h/c|
#+----+-------+--------+

Вы можете использовать для получения желаемого результата комбинацию substring и instr

substring - Получить подмножество из столбца/строки

instr - Определите расположение определенного шаблона в строке поиска.

df = spark.createDataFrame([('a','a/b/c'),
                            ('b','e/b/f'),
                            ('d','e/b/d/h'),
                            ('c','g/h/c')],'item : string , path : string')

from pyspark.sql.functions import expr, instr, substring

df.withColumn("rel_path",expr("substring(path, 1, (instr(path,item)))")).show()

##+----+-------+--------+
##|item|   path|rel_path|
##+----+-------+--------+
##|   a|  a/b/c|       a|
##|   b|  e/b/f|     e/b|
##|   d|e/b/d/h|   e/b/d|
##|   c|  g/h/c|   g/h/c|
##+----+-------+--------+