Используйте pandas.shift () в группе

У меня есть фрейм данных с данными панели, скажем, это временной ряд для 100 разных объектов:

object  period  value 
1       1       24
1       2       67
...
1       1000    56
2       1       59
2       2       46
...
2       1000    64
3       1       54
...
100     1       451
100     2       153
...
100     1000    21

Я хочу добавить новый столбец prev_value, в котором будет храниться предыдущий value для каждого объекта:

object  period  value  prev_value
1       1       24     nan
1       2       67     24
...
1       99      445    1243
1       1000    56     445
2       1       59     nan
2       2       46     59
...
2       1000    64     784
3       1       54     nan
...
100     1       451    nan
100     2       153    451
...
100     1000    21     1121

Могу ли я как-то использовать .shift () и .groupby () для этого?

python pandas pandas-groupby

16.11.2018 11:08

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

33 488

Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Ответ принят как подходящий

Сгруппированные объекты Pandas имеют метод groupby.DataFrameGroupBy.shift, который будет сдвигать указанный столбец в каждой группе пperiods, точно так же, как метод shift обычного фрейма данных:

df['prev_value'] = df.groupby('object')['value'].shift()

Для следующего примера фрейма данных:

print(df)

     object  period  value
0       1       1     24
1       1       2     67
2       1       4     89
3       2       4      5
4       2      23     23

Результатом будет:

     object  period  value  prev_value
0       1       1     24         NaN
1       1       2     67        24.0
2       1       4     89        67.0
3       2       4      5         NaN
4       2      23     23         5.0

Только будьте осторожны, безопаснее заранее отсортировать фрейм данных: df.sort_values(by=['period']).groupby('object')['value'].shi‌ft()

— 26.11.2021 10:37

16.11.2018 11:17

IFF ваш DataFrame уже отсортирован по ключам группировки, вы можете использовать один shift для всего DataFrame и от where до NaN строк, которые переполняются в следующую группу. Для больших DataFrames с большим количеством групп это может быть немного быстрее.

df['prev_value'] = df['value'].shift().where(df.object.eq(df.object.shift()))

   object  period  value  prev_value
0       1       1     24         NaN
1       1       2     67        24.0
2       1       4     89        67.0
3       2       4      5         NaN
4       2      23     23         5.0

Некоторые тайминги, связанные с производительностью:

import perfplot
import pandas as pd
import numpy as np

perfplot.show(
    setup=lambda N: pd.DataFrame({'object': np.repeat(range(N), 5), 
                                  'value': np.random.randint(1, 1000, 5*N)}), 
    kernels=[
        lambda df: df.groupby('object')['value'].shift(),
        lambda df: df['value'].shift().where(df.object.eq(df.object.shift())),
    ],
    labels=["GroupBy", "Where"],
    n_range=[2 ** k for k in range(1, 22)],
    equality_check=lambda x,y: np.allclose(x, y, equal_nan=True),
    xlabel = "# of Groups"
)