Polars Rolling Corr дает странные результаты

Я пытался реализовать скользящую автокорреляцию в полярах, но получил некоторые странные результаты, когда в них участвуют null.

Код довольно прост. Допустим, у меня есть два фрейма данных df1 и df2:

df1 = pl.DataFrame({'a': [1.06, 1.07, 0.93, 0.78, 0.85], 'lag_a': [1., 1.06, 1.07, 
0.93, 0.78]})

df2 = pl.DataFrame({'a': [1., 1.06, 1.07, 0.93, 0.78, 0.85], 'lag_a': [None, 1., 1.06, 1.07, 0.93, 0.78]})

Вы можете видеть, что единственная разница в том, что в df2 первая строка для lag_a имеет значение None, поскольку она сдвинута с a.

Однако когда я вычислил rolling_corr для обоих фреймов данных, я получил разные результаты.

# df1.select(pl.rolling_corr('a', 'lag_a', window_size=10, min_periods=5, ddof=1))

shape: (5, 1)
┌──────────┐
│ a        │
│ ---      │
│ f64      │
╞══════════╡
│ null     │
│ null     │
│ null     │
│ null     │
│ 0.622047 │
└──────────┘

# df2.select(pl.rolling_corr('a', 'lag_a', window_size=10, min_periods=5, ddof=1))
shape: (6, 1)
┌───────────┐
│ a         │
│ ---       │
│ f64       │
╞═══════════╡
│ null      │
│ null      │
│ null      │
│ null      │
│ null      │
│ -0.219851 │
└───────────┘

Результат df1, то есть 0,622047, я тоже получил от numpy.corrcoef. Интересно, откуда взялось -0,219851?

python python-polars

15.08.2024 17:35

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Я думаю, что это ошибка в реализации rolling_corr на Rust (справедливости ради, в питоне он помечен как нестабильный). Похоже, оно наивно применяется rolling_mean, не нанеся предварительно нулевую маску суставов. Таким образом, скользящее среднее a, используемое в вычислениях, равно

df2.get_column("a").rolling_mean(window_size=10, min_periods=5)

shape: (6,)
Series: 'a' [f64]
[
    null
    null
    null
    null
    0.968
    0.948333
]

Это правильное скользящее среднее в вакууме, но в этом случае первая строка столбца df2a должна считаться нулевой, потому что lag_a там нулевое, и поэтому скользящее среднее df2 должно быть таким же, как скользящее среднее df1, с дополнительным нулем впереди.

df1.get_column("a").rolling_mean(window_size=10, min_periods=5)

shape: (5,)
Series: 'a' [f64]
[
    null
    null
    null
    null
    0.938
]

Я бы предложил подать отчет об ошибке или даже PR. Это не похоже на жесткое исправление, просто потребуется предварительно вычислить маску и применить фильтры ко всем выражениям, прежде чем рассчитывать по ним скользящую статистику.

А пока вы можете применить маску самостоятельно перед вычислением корреляции:

df2.with_columns(
    pl.when(pl.any_horizontal(pl.all().is_null()))
    .then(None)
    .otherwise(pl.all())
    .name.keep()
).select(pl.rolling_corr("a", "lag_a", window_size=10, min_periods=5))

shape: (6, 1)
┌──────────┐
│ a        │
│ ---      │
│ f64      │
╞══════════╡
│ null     │
│ null     │
│ null     │
│ null     │
│ null     │
│ 0.622047 │
└──────────┘

Большое спасибо @BallpointBen. Опубликую это на GitHub.

— 17.08.2024 07:47

16.08.2024 07:02