Преобразование карты в карту разделов в искре

Я не знаю, каково ваше использование, но вы определенно можете использовать mapPartition вместо map. Код ниже вернет тот же logDataDF.

val logDataDF = logData.mapPartitions(x => {
  val lst = scala.collection.mutable.ListBuffer[(String, String, String)]()
  while (x.hasNext) {
    val rec = x.next().split(" ")
    lst += ((rec(0), rec(2), rec(5)))
  }
  lst.iterator
}).toDF("month", "date", "process")