Создать фрейм данных из org.apache.spark.sql.dataset [org.apache.spark.sql.row]

У меня есть несколько фреймов данных, из которых я хочу взять части, а затем объединить все части в фрейм данных ..

У меня установлен лимит на каждую порцию после манипуляций, я во всех случаях получаю на выходе

org.apache.spark.sql.Dataset [org.apache.spark.sql.Row]

Как я могу взять все эти sql.rows и объединить их в один фрейм данных?

Если столбцы у всех одинаковые, можно использовать объединение. Если все фреймы данных разные, попробуйте выбрать один уникальный ключ для всех, чтобы вы могли присоединиться к ним позже.

philantrovert 11.04.2018 12:40

Могу я просто сослаться на столбцы из исходных фреймов данных, используя withcolumn? DF.withColumn ("A", DF1 ("A")). Кажется, это лучший способ ... но я не могу заставить его работать.

Brian 11.04.2018 12:57

Нет, так не работает. Вам, вероятно, понадобятся обычные соединения SQL. добавьте образцы данных и ожидаемый результат, и вы, вероятно, получите помощь быстрее. Также прочитайте, как создать минимальный воспроизводимый пример

philantrovert 11.04.2018 14:02

Я привык к другому API типа фрейма данных, Spark API работает иначе. Спасибо за помощь.

Brian 11.04.2018 19:04
0
4
105
0

Другие вопросы по теме