Как правильно рассчитать среднее значение с помощью функций pyspark.sql?

В кадре данных pyspark у меня есть временной ряд различных событий, и я хочу рассчитать среднее количество событий по месяцам. Как правильно это сделать с помощью функций pyspark.sql?

У меня такое ощущение, что для этого требуется разделение агг, среднее, окно, но я не смог заставить его работать.

Я сгруппировал данные по событиям и месяцам и получил что-то вроде этого:

+------+-----+-----+
| event|month|count|
+------+-----+-----+
|event1|    1| 1023|
|event2|    1| 1009|
|event3|    1| 1002|
|event1|    2| 1012|
|event2|    2| 1023|
|event3|    2| 1017|
|event1|    3| 1033|
|event2|    3| 1011|
|event3|    3| 1004|
+------+-----+-----+

Я хотел бы иметь это:

+------+-------------+
| event|avg_per_month|
+------+-------------+
|event1|    1022.6666|
|event2|    1014.3333|
|event3|    1007.6666|
+------+-------------+

Каков правильный способ добиться этого?

pyspark apache-spark-sql aggregate average pyspark-sql

09.04.2019 16:27

Стоит ли изучать PHP в 2023-2024 годах?

Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...

Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией

В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.

Приемы CSS-макетирования - floats и Flexbox

Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...

Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest

В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...

Концепция локализации и ее применение в приложениях React ⚡️

Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...

Пользовательский скаляр GraphQL

Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...

1 527

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Это должно помочь вам получить желаемый результат -

df = spark.createDataFrame(
    [('event1',1,1023),
     ('event2',1,1009),
     ('event3',1,1002),
     ('event1',2,1012),
     ('event2',2,1023),
     ('event3',2,1017),
     ('event1',3,1033),
     ('event2',3,1011),
     ('event3',3,1004)
     ],["event", "month", "count"])

Пример 1:

df.groupBy("event").\
    avg("count").alias("avg_per_month").\
    show()

Пример 2:

df.groupBy("event").\
    agg({'count' : 'avg'}).alias("avg_per_month").\
    show()

09.04.2019 16:44

Другие вопросы по теме

Извлечь определенные строки в PySpark

Добавить несколько столбцов в существующий фрейм данных в искре

Spark Dataframes: добавить условный столбец в фрейм данных

Spark functions.coalesce не работает с коллекциями mongodb, но работает с CSV

Чтение данных из bigquery с помощью spark scala

Как разобрать JSON, содержащий строковое свойство, представляющее JSON

Фильтрация кадров данных, обусловленных несколькими столбцами, с различными условиями в зависимости от значений столбца

Динамически зацикливать набор данных для всех имен столбцов

Как получить данные второго фрейма данных для всех значений определенных значений столбцов, совпадающих в первом фрейме данных?

Как сравнить две таблицы и заменить нули значениями из другой таблицы

Как правильно рассчитать среднее значение с помощью функций pyspark.sql?

Ответы 1

Пример 1:

Пример 2:

Другие вопросы по теме

Похожие вопросы