Scala DataSet с наследованием класса случая

Я хотел бы иметь возможность хранить различные связанные типы в Spark DataFrame, но работать со строго типизированными классами случаев через DataSet. Например. скажем, у меня есть признак Base и два класса случаев A и B, которые расширяют этот признак:

trait Base {
  def name: String
}

case class A(name: String, number: Int) extends Base

case class B(name: String, text: String) extends Base

Я хотел бы создать val lb = List[Base](A("Alice", 20), B("Bob", "Foo")), а затем создать DataFrame через lb.toDS(). Неудивительно, что это не работает, поскольку для этого признака нет кодировщика для его различных расширенных классов.

Я мог бы вручную создать класс Case, представляющий структуру, которая может хранить информацию как для A, так и для B:

case class Struct(typ: String, name: String, number: Option[Int] = None, text: Option[String] = None)

И я мог бы добавить несколько функций для создания Struct из экземпляра черты Base и наоборот:

trait Base {
  def name: String

  def asStruct: Struct = {
    this match {
      case A(name, number) => Struct("A", name, number = Some(number))
      case B(name, text) => Struct("B", name, text = Some(text))
    }
  }
}

case class Struct(typ: String, name: String, number: Option[Int] = None, text: Option[String] = None) {
  def asBase: Base = {
    this match {
      case Struct("A", name, Some(number), None) => A(name, number)
      case Struct("B", name, None, Some(text)) => B(name, text)
      case _ => throw new Exception(f"Invalid Base structure {s}")
    }
  }
}

Затем я могу создать свой DataFrame следующим образом:

    val a = A("Alice", 32)
    val b = B("Bob", "foo")

    val ls = List[Struct](a.asStruct, b.asStruct)

    val sparkSession = spark
    import sparkSession.implicits._

    val df = ls.toDS()

    df.show()

+---+-----+------+----+
|typ| name|number|text|
+---+-----+------+----+
|  A|Alice|    32|NULL|
|  B|  Bob|  NULL| foo|
+---+-----+------+----+

Я могу работать с этим подходом, но мне интересно, можно ли написать кодировщик, который автоматически обрабатывает класс Base как класс Struct, используя метод asStruct, написанный выше?