Обработка массива [байт] в кадрах данных Spark

У меня есть фрейм данных df1, как показано ниже, со схемой:

scala> df1.printSchema
root
 |-- filecontent: binary (nullable = true)
 |-- filename: string (nullable = true)

У DF есть имя файла и его содержимое. Содержимое хранится в формате GZIP. Я мог бы использовать что-то вроде приведенного ниже, чтобы распаковать данные в файле и сохранить их в HDFS.

def decompressor(origRow: Row) = {
    val filename = origRow.getString(1)
    val filecontent = serialise(origRow.getString(0))

    val unzippedData = new GZIPInputStream(new ByteArrayInputStream(filecontent))

    val hadoop_fs = FileSystem.get(sc.hadoopConfiguration)
    val filenamePath = new Path(filename)

    val fos = hadoop_fs.create(filenamePath)

    org.apache.hadoop.io.IOUtils.copyBytes(unzippedData, fos, sc.hadoopConfiguration)
    fos.close()
  } 

Моя цель:

Поскольку данные столбца filecontent в df1 являются двоичными, то есть Array [byte], я не должен распространять данные и хранить их вместе и передавать их функции, чтобы она могла распаковать и сохранить их в файл.

Мой вопрос:

1. Как мне не распределять данные (данные столбца)?
2. Как убедиться, что обработка выполняется для одной строки за раз?