Как перебирать столбцы фрейма данных «spark»?

Вам нужна функция взорваться. Вот примеры его использования.

Предполагая, что числовой столбец имеет строковый тип данных, вы можете добиться желаемых результатов, выполнив следующие шаги.

Исходный фрейм данных:

         val df = Seq(("Andy", "20,10,30"), ("Berta", "30,40,20"), ("Joe", "40,90,60"))
         .toDF("name", "number")

Затем создайте промежуточный фрейм данных с 3 числовыми столбцами, разделив числовой столбец запятой.

  val Interim_Df = df.withColumn("n1", split(col("number"), ",").getItem(0))
  .withColumn("n2", split(col("number"), ",").getItem(1))
  .withColumn("n3", split(col("number"), ",").getItem(2))
  .drop("number")

Затем создайте окончательный фрейм данных результата, выполнив объединение с oneIndexDfs.

val columnIndexes = Seq(1, 2, 3)

val onlyOneIndexDfs = columnIndexes.map(x =>
  Interim_Df.select(
    $"name",
    col(s"n$x").alias("number")))

val resultDF = onlyOneIndexDfs.reduce(_ union _)