Из кадра данных с одной строкой, как создать новый фрейм данных, содержащий список имен столбцов и их значений

Учитывая df1:

с1 с2 с3 с4 с5 с6 с7 с8 45 15 100 68 96 86 35 48

Как создать дф2:

имя столбца Значения столбцов с1 45 с2 15 с3 100 с4 68 с5 96 с6 86 с7 35 с8 48

Вопрос: Используя pyspark, если у нас есть фрейм данных df1 (показан выше), как мы можем создать фрейм данных df2, который содержит имена столбцов df1 в первом столбце и значения df1 во втором втором столбце?

ПРИМЕЧАНИЯ: Обратите внимание, что df1 будет динамическим, он будет меняться в зависимости от загруженных в него данных. Как показано ниже, я уже знаю, как это сделать, если df1 является статическим:

data = [['c1', 45], ['c2', 15], ['c3', 100]]
mycolumns = ["myCol1","myCol2"]
df = spark.createDataFrame(data, mycolumns)
df.show()

Для статического df1 приведенный выше код покажет df2 как:

|myCol1|myCol2|
|---|---|
|c1|45|
|c2|15|
|c3|100|

python apache-spark pyspark

12.04.2023 04:51

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Попробуй это -

from pyspark.sql.functions import *

data = [["java", "dbms", "python"]]
columns = ["Subject 1", "Subject 2", "Subject 3"]

df1 = spark.createDataFrame(data, columns)

column_names = df1.columns

stacked = df1.selectExpr("stack(" + str(len(column_names)) + "," + ",".join([f"'{col}', `{col}`" for col in column_names]) + ") as (columnName, columnValue)")

df2 = stacked.selectExpr("columnName", "columnValue")
df2.show()

+----------+----------------+
|columnName|     columnValue|
+----------+----------------+
| Subject 1|            java|
| Subject 2|            dbms|
| Subject 3|          python|
+----------+----------------+

Получаю ParseException на второй строчке stacked = ...... Я запускаю блокнот в Databricks.

— 12.04.2023 05:55

Я создал df1, используя ваши входные данные, и это сработало для меня. Можете ли вы опубликовать полное сообщение об ошибке? Также, если возможно, как вы создали df1. Я также использовал Databricks здесь.

— 12.04.2023 05:57

Сообщение об ошибке: /databricks/spark/python/pyspark/sql/dataframe.py в selectExpr(self, *expr) 1841, если len(expr) == 1 и isinstance(expr[0], list): 1842 expr = expr [0] -> 1843 jdf = self._jdf.selectExpr(self._jseq(expr)) 1844 return DataFrame(jdf, self.sql_ctx) /databricks/spark/python/lib/py4j-0.10.9.1-src.zip/ py4j/java‌_gateway.py в __call__(self, *args) 1303 answer = self.gateway_client.send_command(command) -> 1304 return_value = get_return_value( 1305 answer, self.gateway_client, self.target_id, self.name)`

— 12.04.2023 06:03

Я использовал этот пример: data = [["java", "dbms", "python"], ["OOPS", "SQL", "Machine Learning"]] columns = ["Subject 1", "Subject 2", "Subject 3"] df1 = spark.createDataFrame(data, columns)

— 12.04.2023 06:08

Отредактировал мой ответ, чтобы поддержать пограничный случай.

— 12.04.2023 06:13

Я уже проголосовал. Не могли бы вы удалить одну строку в примере, который я вам привел. В противном случае это не будет иметь отношения к вопросу, где я говорю как one row dataframe df1. Пример может сбить с толку читателей этого поста, так как он состоит из двух строк и из-за этого имена столбцов повторяются в df2. Вы также можете переписать отображение df2 только с 3 строками. И я приму ответ. Спасибо за помощь мне.

— 12.04.2023 06:52

12.04.2023 05:39