Найдите все различия между группами в фрейме данных Polars

Ваш подход немного усложняет ситуацию. Я предлагаю сначала отсортировать данные по id и update_time, а затем сдвинуть данные для подготовки к сравнению. После этого вы сможете определить строки, в которых id одинаковый, но есть разница:

import polars as pl

def find_updated_field_differences(df):
    sorted_df = df.sort(['id', 'update_time'])
    
    shifted_df = sorted_df.shift(-1)

    mask = (
        (sorted_df['id'] == shifted_df['id']) &
        ((sorted_df['status'] != shifted_df['status']) | (sorted_df['underlying'] != shifted_df['underlying']))
    )

    start_changes = sorted_df.filter(mask)
    end_changes = sorted_df.shift(-1).filter(mask)
    differing_df = pl.concat([start_changes, end_changes]).unique()

    return differing_df.sort(['id', 'update_time'])

raw_df = pl.DataFrame([
    {'id': 'AAPL', 'update_time': 20241112, 'status': 'trading', 'underlying': 'y'},
    {'id': 'MSFT', 'update_time': 20241113, 'status': 'trading', 'underlying': 'x'},
    {'id': 'NVDA', 'update_time': 20241112, 'status': 'trading', 'underlying': 'z'},
    {'id': 'MSFT', 'update_time': 20241112, 'status': 'pending', 'underlying': 'x'},
    {'id': 'AAPL', 'update_time': 20241113, 'status': 'trading', 'underlying': 'y'},
    {'id': 'NVDA', 'update_time': 20241113, 'status': 'trading', 'underlying': 'z'},
    {'id': 'TSLA', 'update_time': 20241112, 'status': 'closed', 'underlying': 'v'},
])

result_df = find_updated_field_differences(raw_df)
print(result_df)

что дает вам

shape: (2, 4)
┌──────┬─────────────┬─────────┬────────────┐
│ id   ┆ update_time ┆ status  ┆ underlying │
│ ---  ┆ ---         ┆ ---     ┆ ---        │
│ str  ┆ i64         ┆ str     ┆ str        │
╞══════╪═════════════╪═════════╪════════════╡
│ MSFT ┆ 20241112    ┆ pending ┆ x          │
│ MSFT ┆ 20241113    ┆ trading ┆ x          │

В общем, похоже, что вы хотите сохранить все уникальные строки (игнорируя update_time) в группе, определенной id, если в соответствующей группе есть хотя бы две уникальные строки (т. е. произошло изменение).

Этого можно достичь следующим образом.

(
    raw_df
    .sort("update_time")
    .unique(subset=["id", "status", "underlying"], keep = "first", maintain_order=True)
    .filter(
        pl.len().over("id") > 1
    )
)

shape: (2, 4)
┌──────┬─────────────┬─────────┬────────────┐
│ id   ┆ update_time ┆ status  ┆ underlying │
│ ---  ┆ ---         ┆ ---     ┆ ---        │
│ str  ┆ i64         ┆ str     ┆ str        │
╞══════╪═════════════╪═════════╪════════════╡
│ MSFT ┆ 20241112    ┆ pending ┆ x          │
│ MSFT ┆ 20241113    ┆ trading ┆ x          │
└──────┴─────────────┴─────────┴────────────┘

• pl.DataFrame.unique удаляет повторяющиеся строки. Параметр subset указывает, какие столбцы следует учитывать при сравнении двух строк как возможные дубликаты.
• pl.len().over("id") подсчитывает количество уникальных строк в каждой группе, определенной id.

Сортировка по update_time и установка параметров keep = "first", maintain_order=True при вызове pl.DataFrame.unique не являются обязательными. Я использую его, чтобы гарантировать сохранение первого (во времени) появления каждой уникальной строки (для каждой группы, определенной id).

В Polars есть специальная функция, упрощающая проверку col != col.shift().

Кодирование длины серии: .rle_id()

df.with_columns(
   pl.exclude("id", "update_time").rle_id().over("id").name.suffix("_change")
)

shape: (7, 6)
┌──────┬─────────────┬─────────┬────────────┬───────────────┬───────────────────┐
│ id   ┆ update_time ┆ status  ┆ underlying ┆ status_change ┆ underlying_change │
│ ---  ┆ ---         ┆ ---     ┆ ---        ┆ ---           ┆ ---               │
│ str  ┆ i64         ┆ str     ┆ str        ┆ u32           ┆ u32               │
╞══════╪═════════════╪═════════╪════════════╪═══════════════╪═══════════════════╡
│ AAPL ┆ 20241112    ┆ trading ┆ y          ┆ 0             ┆ 0                 │
│ MSFT ┆ 20241113    ┆ trading ┆ x          ┆ 0             ┆ 0                 │
│ NVDA ┆ 20241112    ┆ trading ┆ z          ┆ 0             ┆ 0                 │
│ MSFT ┆ 20241112    ┆ pending ┆ x          ┆ 1             ┆ 0                 │
│ AAPL ┆ 20241113    ┆ trading ┆ y          ┆ 0             ┆ 0                 │
│ NVDA ┆ 20241113    ┆ trading ┆ z          ┆ 0             ┆ 0                 │
│ TSLA ┆ 20241112    ┆ closed  ┆ v          ┆ 0             ┆ 0                 │
└──────┴─────────────┴─────────┴────────────┴───────────────┴───────────────────┘

Не уверен, упрощаю ли я ситуацию или нет, но в данном примере кажется, что вы просто хотите проверить, содержат ли какие-либо столбцы изменения.

то есть rle_id > 0

df.filter(
   pl.any_horizontal(
      (pl.exclude("id", "update_time").rle_id() > 0).any().over("id")
   ) 
)

shape: (2, 4)
┌──────┬─────────────┬─────────┬────────────┐
│ id   ┆ update_time ┆ status  ┆ underlying │
│ ---  ┆ ---         ┆ ---     ┆ ---        │
│ str  ┆ i64         ┆ str     ┆ str        │
╞══════╪═════════════╪═════════╪════════════╡
│ MSFT ┆ 20241113    ┆ trading ┆ x          │
│ MSFT ┆ 20241112    ┆ pending ┆ x          │
└──────┴─────────────┴─────────┴────────────┘