вход у меня есть
{'A':'1','B':'1'}
выход, который мне нужен
+----+----+
|A |B |
+----+----+
| 1| 2|
+----+----+
Код, который я пробовал, приведен ниже. который не работает
v = {'A': '1','B':'2'}
rdd = sc.parallelize(v.values())
df = spark.createDataFrame(rdd, list(v.keys()))
df.show()
Я нашел простой способ использовать парсер json.
spark = SparkSession.builder.appName('abc').enableHiveSupport().getOrCreate()
sc = spark.sparkContext
dict_lst = {'A': '1','B':'2'}
rdd = sc.parallelize([dict_lst])
print(type(rdd))
df = spark.read.json(rdd)
df.show()