Агрегации кадров данных PySpark
Я использую версию Spark 3.4, создал фрейм данных ниже.
df.show()
Идентификатор --> Строка вывод ---> Логическое значение
ID output
AA true
AA false
BB true
BB true
CC true
CC false
CC true
Я хотел бы применить группировку к столбцу идентификатора и агрегировать значения в выходном столбце (если все значения из выходного столбца верны для каждого идентификатора, он должен возвращать true, иначе false)
Ожидаемый результат будет
ID result
AA false
BB true
CC false
каков наилучший способ (функции Windows/UDF) получить желаемый результат с помощью pyspark? Я ценю вашу помощь!
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
1
1
50
1
Перейти к ответу
Данный вопрос помечен как решенный
Ответы 1
Ответ принят как подходящий
Для этого сценария нам нужно использовать group by, поэтому udf не является необходимостью.
from pyspark.sql import functions as F
result_df = df.groupBy("ID").agg(F.min("output").alias("result"))
result_df.show()
Выход:
+---+------+
| ID|result|
+---+------+
| AA| false|
| BB| true |
| CC| false|
+---+------+
То же самое можно сделать и с помощью Spark sql,
SELECT ID, MIN(output) AS result
FROM my_table
GROUP BY ID;
Другие вопросы по теме
Доступ к определенному элементу массива в строке формата JSON
Присоединяйтесь к двум столам по 100 тысяч, занимая более получаса
Преобразование фрейма данных во вложенные записи JSON
Найти иерархию дерева в группе и собрать в список — PySpark
Добавьте столбец, получив доступ к элементу в массиве на основе идентификатора без выражения SQL
Как я могу прочитать CSV-файл большого размера размером до 500 ГБ в Apache Spark и выполнить на нем агрегацию?
Динамически выводить схему данных JSON с помощью Pyspark
Невозможно отфильтровать кадры данных в огромном наборе данных в PySpark
Сгенерируйте выходной фрейм данных, как показано ниже, в pyspark:
Как создать идентификатор непрерывной последовательности независимо от запусков в Databricks
Похожие вопросы
Создание столбцов из столбца, содержащего список словарей
Объединить многострочные строки в фрейме данных pandas на основе шаблона регулярного выражения
Распечатка последовательности с использованием понимания списка вместо цикла for
Как фильтровать уникальность по условию
Python заменяет XML-текст Escape-последовательностью
Шифр Цезаря неправильно сдвигает буквы в алфавитном списке
Замените ячейку в столбце на основе ячейки в другом столбце в полярном DataFrame
Python/win32crypt: «Доступ запрещен» при попытке сохранить сертификат в хранилище Windows «локального компьютера», но работает с хранилищем «текущий пользователь»
Как перебирать вложенные списки различной длины в цикле Ansible?
Изменение имени строки кадра данных Python Pandas
используйте SparkSQL каждую функцию, например:
df.groupby('ID').agg(F.expr('every(output) as result'))