Spark, как разделить (список ключ-значение) на пары ключ-значение
Учитывая RDD с несколькими парами ключ-значение, где каждое значение на самом деле является списком значений, как мне разделить списки значений, чтобы в итоге я получил простые пары ключ-значение?
from pyspark import SparkConf, SparkContext
conf = SparkConf()
sc = SparkContext(conf=conf)
foo = sc.parallelize([(0,[1,1,4]),(1,[3,5])])
bar = foo.map(magic)
bar.collect()
>>>>[(0,1),(0,1),(0,4),(1,3),(1,5)]
Как бы magic выглядело, чтобы достичь того, чего я хочу?
Ответы 2
Python позволяет вам комбинировать произвольное количество выражений генератора, по сути позволяя вам «развернуть» вложенную структуру, подобную этой. Каждый «слой» будет новым for _ in _
lambda l: [(key, value) for (key, values) in l for value in values]
>>> l = [(0,[1,1,4]),(1,[3,5])]
>>> [(key, value) for (key, values) in l for value in values]
[(0, 1), (0, 1), (0, 4), (1, 3), (1, 5)]
Это означает, что на каком-то уровне вложенности вы пытались «развернуть» целочисленный тип, а не тип контейнера. Можете ли вы вставить именно то, что вы пробовали?
bar = foo.map(lambda l: [(key, value) for (key, values) in l for value in values])
Хм, может быть, я не в своей тарелке. Я скопировал свой второй фрагмент из интерпретатора Python, поэтому, если вы используете Python 3, я думаю, мы должны увидеть такое же поведение. Возможно, что pyspark вступает в игру каким-то образом, которого я не вижу, и в этом случае мой ответ, вероятно, бесполезен: мой ответ - общий Python.
Догадаться:
bar=foo.flatMap(lambda l: [(l[0], value) for value in l[1]])
Я понимаю, что это довольно простая проблема и решение, но я оставлю ее на случай, если кто-то еще борется с запуском pyspark.
Похоже, это не работает с pyspark. Используя вашу лямбда-функцию для магии, я получаю TypeError: не могу распаковать неитерируемый объект int