Мне нужно определить типы столбцов в spark.createDataFrame(). Например, мне нужно определить формат столбцов Возраст и Вес, и я использую следующий код:
from pyspark.sql.types import IntegerType, FloaType
Age1 = Spark.createDataFrame(df['Age'], IntegerType ())
Weight1 = Spark.createDataFrame(df['Weight'], FloatType ())
Как я могу сделать это внутри одного spark.createDataFrame вместо двух?
Это возможный обман Преобразование между Spark.SQL DataFrame и pandas DataFrame, Преобразование фрейма данных Pandas в ошибку фрейма данных Spark и как изменить столбец Dataframe с типа String на тип Double в pyspark.
Да, df - это фрейм данных Pandas
Возможный дубликат Преобразование между Spark.SQL DataFrame и pandas DataFrame

Что здесь
df? Это панда DataFrame? Если это так, вам просто нужно сделатьspark.createDataFrame(df[["Age", "Weight"]]), потому что вы можете передать pandas DataFrame. Если типы не подходят, вы можете применить их позже.