Как преобразовать двоичный файл в строку (UUID) без UDF в Apache Spark (PySpark)?

Вы можете использовать шестнадцатеричный для получения id_str:

from pyspark.sql import SparkSession
import pyspark.sql.functions as F
import uuid

spark = SparkSession.builder.getOrCreate()

data = [(uuid.uuid4().bytes,)]

df = spark.createDataFrame(data, ["id"])

df = df.withColumn("id_str", F.lower(F.hex("id")))

df.show(truncate=False)

# +-------------------------------------------------+--------------------------------+
# |id                                               |id_str                          |
# +-------------------------------------------------+--------------------------------+
# |[8C 76 42 18 BD CA 47 A1 9C D7 9D 74 0C 3C A4 76]|8c764218bdca47a19cd79d740c3ca476|
# +-------------------------------------------------+--------------------------------+

Обновлять:

Вы также можете использовать regexp_replace, чтобы получить точный id_str в том же формате, которым вы поделились, следующим образом:

from pyspark.sql import SparkSession
import pyspark.sql.functions as F
import uuid

spark = SparkSession.builder.getOrCreate()

data = [(uuid.uuid4().bytes,)]

df = spark.createDataFrame(data, ["id"])

df = df.withColumn(
    "id_str", 
    F.regexp_replace(
        F.lower(F.hex("id")), 
        "(.{8})(.{4})(.{4})(.{4})(.{12})", 
        "$1-$2-$3-$4-$5"
    )
)

df.show(truncate=False)

# +-------------------------------------------------+------------------------------------+
# |id                                               |id_str                              |
# +-------------------------------------------------+------------------------------------+
# |[F8 25 99 3E 2D 7A 40 E4 A1 24 C0 28 B9 30 F6 03]|f825993e-2d7a-40e4-a124-c028b930f603|
# +-------------------------------------------------+------------------------------------+