Почему @tailrec не разрешает эту, казалось бы, хвостовую рекурсивную функцию?

helper не называет себя. Он возвращает функцию, которая в итоге вызывает helper, но это не одно и то же.

Другими словами: helper не хвостовая рекурсия, потому что она даже не (прямая) рекурсия.

Scala может оптимизировать только прямую хвостовую рекурсию.

Проблема в том, что рекурсивный код создает значение функции, а затем вызывает его, а не вызывает метод напрямую.

Если вы измените синтаксис метода, он будет рекурсивным.

@annotation.tailrec
def helper(consList: MyList[B], originalList: MyList[A], modList: MyList[B]): myList[B] = {
    val wrapList = if (modList.isEmpty) list else modList
    if (originalList.tail.isEmpty) consList ++ NewList(function(originalList.head, wrapList.head), EmptyList)
    else helper(consList ++ NewList(function(originalList.head, wrapList.head), EmptyList),
      originalList.tail,
      modList.tail)
}