Как отсортировать фрейм данных pandas, используя группу по

Код

out = df.sort_values(
    by=['State', 'date'], 
    ascending=[0, 1], 
    key=lambda x: df['Rev'].groupby(x).transform('first') 
                  if x.name == 'State' else x
)

вне:

         date State    Rev     Score  Value
2  2024-05-01    ny  51200  0.978738     11
3  2024-06-01    ny  48732  2.240893     48
6  2024-05-01    nc  24012  0.950088     34
7  2024-06-01    nc  25005 -0.151357     27
0  2024-05-01    fl  21000  1.764052     34
1  2024-06-01    fl  18200  0.400157     22
4  2024-05-01    mi   5676  1.867558     49
5  2024-06-01    mi   6798 -0.977278     33

или

для удобства чтения, если мы определим вышеуказанную лямбда-функцию как custom_sort, она будет выглядеть так:

def custom_sort(x):
    if x.name == 'State':
        return df['Rev'].groupby(x).transform('first')
    else:
        return x

out = df.sort_values(['State', 'date'], ascending=[0, 1], key=custom_sort)

тот же результат

По моему мнению, самый простой и явный подход к выполнению «сложной»/многоусловной сортировки — использовать numpy.lexsort и передавать ограничения в обратном порядке предпочтения:

out = df.iloc[np.lexsort([df['date'],
                          -df.groupby('State')['Rev'].transform('max')])]

Что гласит (в обратном порядке с lexsort):

• сортировать по приоритету, уменьшая максимальное число оборотов для каждого состояния
• в случае ничьей сортируйте по возрастанию даты

Если у двух штатов может быть один и тот же максимальный оборот, если вы хотите обеспечить наличие отдельных групп, добавьте df['State'] в качестве промежуточного условия:

• сортировать по приоритету, уменьшая максимальное число оборотов для каждого состояния
• в случае равенства максимального количества оборотов сортируйте по названию штата (вы можете использовать другое условие, например общее количество оборотов на штат и т. д.)
• в случае ничьей сортируйте по возрастанию даты

out = df.iloc[np.lexsort([df['date'],
                          df['State'],
                          -df.groupby('State')['Rev'].transform('max')])]

Выход:

         date State    Rev     Score  Value
2  2024-05-01    ny  51200  0.978738     11
3  2024-06-01    ny  48732  2.240893     48
6  2024-05-01    nc  24012  0.950088     34
7  2024-06-01    nc  25005 -0.151357     27
0  2024-05-01    fl  21000  1.764052     34
1  2024-06-01    fl  18200  0.400157     22
4  2024-05-01    mi   5676  1.867558     49
5  2024-06-01    mi   6798 -0.977278     33

import pandas as pd
import numpy as np

np.random.seed(0)
df = pd.DataFrame({
    'date': np.tile(['1990-05-01', '1990-06-01'], 4),
    'state': np.repeat(['fl', 'ny', 'mi', 'nc'], 2),
    'rev': [21000, 18200, 51200, 48732, 5676, 6798, 24012, 25005],
    'score': np.random.normal(size=8),
    'value': np.random.randint(10, 50, size=8)
})

df['date'] = pd.to_datetime(df['date'])

# Step 1: Determine sort order of states based on rev for '1990-05-01'
rev_0501 = df[df['date'] == '1990-05-01'].set_index('state')['rev']

state_order = rev_0501.sort_values(ascending=False).index
'''
state_order :
Index(['ny', 'nc', 'fl', 'mi'], dtype='object', name='state')
'''
state_order_map = pd.Categorical(df['state'], categories=state_order, ordered=True).codes
'''
state_order_map :
[2 2 0 0 3 3 1 1]
'''
# Convert 'date' to integer for sorting
date_int = df['date'].values.astype('int64')

sorted_indices = np.lexsort((date_int ,state_order_map))
'''
sorted_indices :
[2 3 6 7 0 1 4 5]
'''
sorted_df = df.iloc[sorted_indices].reset_index(drop=True)

print(sorted_df)
'''
        date state    rev     score  value
0 1990-05-01    ny  51200  0.978738     11
1 1990-06-01    ny  48732  2.240893     48
2 1990-05-01    nc  24012  0.950088     34
3 1990-06-01    nc  25005 -0.151357     27
4 1990-05-01    fl  21000  1.764052     34
5 1990-06-01    fl  18200  0.400157     22
6 1990-05-01    mi   5676  1.867558     49
7 1990-06-01    mi   6798 -0.977278     33
'''