Группируйте столбец поляров так же, как pandas.cut

Я пытаюсь использовать Polars.Series.cut , чтобы воспроизвести поведение объединения данных pandas.cut.

MRE значений и точек останова:

scores = [1111, 65, 88, -1111, 92]
breaks = [0, 50, 60, 70, 80, 90, 100]

В pandas.cut интервал равен нулю, если значение находится за пределами определенных краев:

import pandas as pd

df = pd.DataFrame({'score': scores})
df['bin'] = pd.cut(df['score'], breaks)

#    score            bin
# 0   1111            NaN  <- null in pandas
# 1     65   (60.0, 70.0]
# 2     88   (80.0, 90.0]
# 3  -1111            NaN  <- null in pandas
# 4     92  (90.0, 100.0]

Но с Polars.Series.cut, кажется, мы вынуждены включить ячейки (-inf, ...] и (..., inf]:

import polars as pl

df = pl.DataFrame({'score': scores})
df = df.with_columns(bin=pl.col('score').cut(breaks))

# shape: (5, 2)
# ┌───────┬────────────┐
# │ score ┆ bin        │
# │ ---   ┆ ---        │
# │ i64   ┆ cat        │
# ╞═══════╪════════════╡
# │ 1111  ┆ (100, inf] │  <- not null in polars
# │ 65    ┆ (60, 70]   │
# │ 88    ┆ (80, 90]   │
# │ -1111 ┆ (-inf, 0]  │  <- not null in polars
# │ 92    ┆ (90, 100]  │
# └───────┴────────────┘

Как мы можем воспроизвести контейнеры pandas.cut в Polars?

dataframe python-polars binning

28.05.2024 18:36

Стоит ли изучать PHP в 2026-2027 годах?

Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...

Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией

В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.

Приемы CSS-макетирования - floats и Flexbox

Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...

Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest

В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...

Концепция локализации и ее применение в приложениях React ⚡️

Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...

Пользовательский скаляр GraphQL

Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...

141

Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Ответ принят как подходящий

А как насчет использования is_between в качестве фильтра?

df.with_columns(bin=pl.when(pl.col('score').is_between(breaks[0], breaks[-1], closed='right'))
                      .then(pl.col('score').cut(breaks))
               )

Или, что еще лучше, чтобы избежать повторного расчета категории, используйте предварительный фильтр:

df.with_columns(bin=pl.when(pl.col('score').is_between(breaks[0], breaks[-1], closed='right'))
                      .then(pl.col('score')).cut(breaks)
               )

Выход:

┌───────┬───────────┐
│ score ┆ bin       │
│ ---   ┆ ---       │
│ i64   ┆ cat       │
╞═══════╪═══════════╡
│ 1111  ┆ null      │
│ 65    ┆ (60, 70]  │
│ 88    ┆ (80, 90]  │
│ -1111 ┆ null      │
│ 92    ┆ (90, 100] │
└───────┴───────────┘

Только что заметил, что мы должны использовать in_between(..., closed='right') для соответствия интервалам cut() (я небрежно работал с MRE и не включил самые крайние значения)

— 28.05.2024 20:59

28.05.2024 18:45

Для полноты картины: если у вас уже есть DataFrame с категориальными данными, вы также можете сравнить с str, чтобы установить значения None:

df.with_columns(
    pl.when(
        ~pl.col('bin').cast(pl.Utf8).str.contains('inf')
    ).then(pl.col('bin'))
)

┌───────┬───────────┐
│ score ┆ bin       │
│ ---   ┆ ---       │
│ i64   ┆ cat       │
╞═══════╪═══════════╡
│ 1111  ┆ null      │
│ 65    ┆ (60, 70]  │
│ 88    ┆ (80, 90]  │
│ -1111 ┆ null      │
│ 92    ┆ (90, 100] │
└───────┴───────────┘

Или вы можете исключить категории first() и last():

df.with_columns(
    pl.when(
        pl.col('bin') != pl.col('bin').cat.get_categories().first(),
        pl.col('bin') != pl.col('bin').cat.get_categories().last(),
    ).then(pl.col('bin'))
)

┌───────┬───────────┐
│ score ┆ bin       │
│ ---   ┆ ---       │
│ i64   ┆ cat       │
╞═══════╪═══════════╡
│ 1111  ┆ null      │
│ 65    ┆ (60, 70]  │
│ 88    ┆ (80, 90]  │
│ -1111 ┆ null      │
│ 92    ┆ (90, 100] │
└───────┴───────────┘

Приятно знать, спасибо. А еще я немного удивлен, что bin= здесь не нужен. Я думаю, поляры просто выводят bin= из then()?

— 29.05.2024 20:09

29.05.2024 09:29