Как я могу определить типы данных всех столбцов, поступающих от pandas в Spark?

Мне нужно определить типы столбцов в spark.createDataFrame(). Например, мне нужно определить формат столбцов Возраст и Вес, и я использую следующий код:

from pyspark.sql.types import IntegerType, FloaType

Age1 = Spark.createDataFrame(df['Age'], IntegerType ())
Weight1 = Spark.createDataFrame(df['Weight'], FloatType ())

Как я могу сделать это внутри одного spark.createDataFrame вместо двух?

Что здесь df? Это панда DataFrame? Если это так, вам просто нужно сделать spark.createDataFrame(df[["Age", "Weight"]]), потому что вы можете передать pandas DataFrame. Если типы не подходят, вы можете применить их позже.

pault 10.01.2019 15:57

Да, df - это фрейм данных Pandas

Hugo Coras 10.01.2019 16:03

Возможный дубликат Преобразование между Spark.SQL DataFrame и pandas DataFrame

pault 10.01.2019 16:06
0
4
595
0

Другие вопросы по теме