Перевести Pandas groupby и выполнить повторную выборку в Polars в Python

У меня есть этот код, который генерирует игрушечный DataFrame (производство df очень сложное):

import polars as pl
import numpy as np
import pandas as pd

def create_timeseries_df(num_rows):
    date_rng = pd.date_range(start='1/1/2020', end='1/01/2021', freq='T')
    data = {
        'date': np.random.choice(date_rng, num_rows),
        'category': np.random.choice(['A', 'B', 'C', 'D'], num_rows),
        'subcategory': np.random.choice(['X', 'Y', 'Z'], num_rows),
        'value': np.random.rand(num_rows) * 100
    }
    df = pd.DataFrame(data)
    df = df.sort_values('date')
    df.set_index('date', inplace=True, drop=False)
    df.index = pd.to_datetime(df.index)

    return df

num_rows = 1000000  # for example
df = create_timeseries_df(num_rows)

Затем выполните эти преобразования с помощью Pandas.

df_pd = df.copy()
df_pd = df_pd.groupby(['category', 'subcategory'])
df_pd = df_pd.resample('W-MON')
df_pd.agg({
    'value': ['sum', 'mean', 'max', 'min']
}).reset_index()

Но, очевидно, что с Pandas это происходит довольно медленно (по крайней мере, в производстве). Поэтому я хотел бы использовать Polars, чтобы ускорить время. Это то, что у меня есть до сих пор:

#Convert to Polars DataFrame
df_pl = pl.from_pandas(df)

#Groupby, resample and aggregate
df_pl = df_pl.group_by(['category', 'subcategory'])
df_pl = df_pl.group_by_dynamic('date', every='1w', closed='right')
df_pl.agg([
   pl.col('value').sum().alias('value_sum'),
   pl.col('value').mean().alias('value_mean'),
   pl.col('value').max().alias('value_max'),
   pl.col('value').min().alias('value_min')
])

Но я получаю AttributeError: 'GroupBy' object has no attribute 'group_by_dynamic'. Есть идеи, как использовать groupby, а затем resample в Polars?

python pandas dataframe group-by python-polars

09.07.2024 15:42

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

137

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Вы можете передать дополнительные столбцы для группировки при вызове group_by_dynamic, передав список с именованным аргументом group_by=:

df_pl = df_pl.group_by_dynamic(
    "date", every = "1w", closed = "right", group_by=["category", "subcategory"]
)

При этом я получаю фрейм данных, похожий на тот, который создает ваш код pandas:

shape: (636, 7)
┌──────────┬─────────────┬─────────────────────┬──────────────┬───────────┬───────────┬──────────┐
│ category ┆ subcategory ┆ date                ┆ sum          ┆ mean      ┆ max       ┆ min      │
│ ---      ┆ ---         ┆ ---                 ┆ ---          ┆ ---       ┆ ---       ┆ ---      │
│ str      ┆ str         ┆ datetime[ns]        ┆ f64          ┆ f64       ┆ f64       ┆ f64      │
╞══════════╪═════════════╪═════════════════════╪══════════════╪═══════════╪═══════════╪══════════╡
│ D        ┆ Z           ┆ 2019-12-30 00:00:00 ┆ 55741.652346 ┆ 50.399324 ┆ 99.946595 ┆ 0.008139 │
│ D        ┆ Z           ┆ 2020-01-06 00:00:00 ┆ 76161.42206  ┆ 50.139185 ┆ 99.96917  ┆ 0.138366 │
│ D        ┆ Z           ┆ 2020-01-13 00:00:00 ┆ 80222.894298 ┆ 49.581517 ┆ 99.937069 ┆ 0.117216 │
│ D        ┆ Z           ┆ 2020-01-20 00:00:00 ┆ 82042.968995 ┆ 50.456931 ┆ 99.981101 ┆ 0.009077 │
│ D        ┆ Z           ┆ 2020-01-27 00:00:00 ┆ 82408.144078 ┆ 49.494381 ┆ 99.954734 ┆ 0.023769 │
│ …        ┆ …           ┆ …                   ┆ …            ┆ …         ┆ …         ┆ …        │
│ B        ┆ Z           ┆ 2020-11-30 00:00:00 ┆ 79530.963748 ┆ 49.737939 ┆ 99.973554 ┆ 0.007446 │
│ B        ┆ Z           ┆ 2020-12-07 00:00:00 ┆ 80050.524653 ┆ 49.566888 ┆ 99.975546 ┆ 0.003066 │
│ B        ┆ Z           ┆ 2020-12-14 00:00:00 ┆ 77896.578291 ┆ 50.029915 ┆ 99.969098 ┆ 0.033222 │
│ B        ┆ Z           ┆ 2020-12-21 00:00:00 ┆ 76490.507942 ┆ 49.636929 ┆ 99.953563 ┆ 0.021683 │
│ B        ┆ Z           ┆ 2020-12-28 00:00:00 ┆ 46964.533378 ┆ 50.553857 ┆ 99.653981 ┆ 0.042546 │
└──────────┴─────────────┴─────────────────────┴──────────────┴───────────┴───────────┴──────────┘

09.07.2024 15:52

Другие вопросы по теме

Ускорение literal_eval в DataFrame применяется

Получите среднее общее количество, сгруппированное по нескольким столбцам в Pandas

Как создать динамический индекс во фрейме данных на основе каталога?

Как я могу изменить значения столбца, если номер группы больше N?

Эффективно удалять строки из pandas df на основе второго последнего времени в столбце

Pandas фильтрует строки данных по дате и времени

Получение ошибки при попытке установить Pandas с помощью pip

Как пройти и создать сумму ролловера в Python?

Как я могу объединить несколько файлов CSV в один лист Excel с помощью Python?

Панды читают XML-файл с назначенным типом данных

Перевести Pandas groupby и выполнить повторную выборку в Polars в Python

Ответы 1

Другие вопросы по теме

Похожие вопросы