PySpark DataFrame сгруппирован в список значений?

Просто, скажем, у меня был следующий DataFrame:

+-------------+----------+------+
|employee_name|department|salary|
+-------------+----------+------+
|        James|     Sales|  3000|
|      Michael|     Sales|  4600|
|       Robert|     Sales|  4100|
|        Maria|   Finance|  3000|
|        James|     Sales|  3000|
|        Scott|   Finance|  3300|
|          Jen|   Finance|  3900|
|         Jeff| Marketing|  3000|
|        Kumar| Marketing|  2000|
|         Saif|     Sales|  4100|
+-------------+----------+------+

Как я могу сгруппировать по отделам и получить все остальные значения в списке следующим образом:

отделение	Имя сотрудника	зарплата
Продажи	[Джеймс, Майкл, Роберт, Джеймс, Саиф]	[3000, 4600, 4100, 3000, 4100]
Финансы	[Мария, Скотт, Джен]	[3000, 3300, 3900]
Маркетинг	[Джефф, Кумар]	[3000, 2000]

spark.apache.org/docs/latest/api/sql/index.html#collect_list

— 17.03.2022 21:22

python pyspark group-by apache-spark-sql aggregate

17.03.2022 21:05

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Ответ принят как подходящий

Используйте collect_list с предложением groupBy

from pyspark.sql.functions import *

df.groupBy(col("department")).agg(collect_list(col("employee_name")).alias("employee_name"),collect_list(col("employee_name")).alias("salary"))

17.03.2022 21:23

Давайте попробуем с минимальным набором текста;

df.groupby('department').agg(*[collect_list(c).alias(c) for c in df.drop('department').columns]).show()

17.03.2022 22:28

Другие вопросы по теме

Как выбрать строки из списка в PySpark

Pyspark — назначать ненулевые столбцы новым столбцам

Задачи Spark читают больше, чем размер блока 128 МБ? Как это возможно?

Как я могу извлечь столбцы из фрейма данных в соответствии с массивом, и если он не находит столбец, этот столбец должен содержать нулевые значения? - писпарк

Как вычесть 2 строковых столбца в фрейме данных Pyspark

Как транспонировать структуры и массивы JSON в PySpark

Как разделить все значения столбцов относительно строки?

Параллельное сохранение в тот же файл паркета с использованием dask, приводящее к ArrowInvalid

Как интерполировать временные ряды на основе временного промежутка между ненулевыми значениями в PySpark

Другой формат даты в фрейме данных pyspark

PySpark DataFrame сгруппирован в список значений?

Ответы 2

Другие вопросы по теме

Похожие вопросы