Pyspark + анализ ассоциативных правил: как передать фрейм данных в формат, подходящий для частого анализа шаблонов?

Я пытаюсь использовать pyspark для интеллектуального анализа правил ассоциации. Допустим, мои данные такие:

myItems=spark.createDataFrame([(1,'a'),
                               (1,'b'),
                               (1,'d'),
                               (1,'c'),
                               (2,'a'),
                               (2,'c'),],
                              ['id','item']) 

Но согласно https://spark.apache.org/docs/2.2.0/ml-frequent-pattern-mining.html формат должен быть:

df = spark.createDataFrame([(1, ['a', 'b', 'd','c']),
                            (2, ['a', 'c'])], 
                           ["id", "items"])

Поэтому мне нужно перенести свои данные из вертикального в горизонтальное, а длины для всех идентификаторов разные.

Как я могу сделать этот перевод, или есть другой способ сделать это?