Ошибочные результаты прокрутки pandas с временным окном, сгруппированным по кадру данных, импортированному из BigQuery

Я хотел бы предварить это, извинившись за невоспроизводимость моего вопроса, потому что, если я преобразую свой фрейм данных в словарь и снова превращаю его в фрейм данных, у меня не возникнет проблема.

Тем не менее, именно этот запрос я использую в BigQuery:

SELECT
published_at,
from_author_id,
text
FROM 
`project.message.message`
"""

Затем я превращаюсь в дататрам, используя

client = bigquery.Client(location = "europe-west1", project = "project")
df = client.query(sql).to_dataframe()

Теперь выполнение следующего дает мне ошибочный вывод:

import pandas as pd
#df['published_at'] = pd.to_datetime(df['published_at'])
df = df.sort_values(by=['from_author_id', 'published_at'])
df.groupby('from_author_id').rolling('3s', on='published_at')['text'].count()

использование .to_datetime() не влияет на результат функции прокрутки

from_author_id                        published_at                    
0001fcf4-94f5-4e42-8444-0cb6c2870bdc  2024-08-19 18:28:50.197000+00:00    1.0
                                      2024-08-19 18:33:26.837000+00:00    2.0
                                      2024-08-19 18:33:42.960000+00:00    3.0
                                      2024-08-19 18:33:57.083000+00:00    4.0
                                      2024-08-19 18:34:18.863000+00:00    5.0
                                                                         ... 
fff7a574-a2fe-4eac-b7c6-d5de8dc5ff0c  2024-08-19 16:26:24.252000+00:00    6.0
                                      2024-08-19 16:32:40.697000+00:00    7.0
                                      2024-08-19 16:32:42.013000+00:00    8.0
                                      2024-08-19 18:09:03.469000+00:00    1.0
                                      2024-08-19 18:09:04.979000+00:00    2.0

Как вы можете видеть, между каждым сообщением первого автора проходит более 3 секунд, поэтому скользящий счетчик должен возвращать 1.

Интересно, что эта функция действительно дает желаемый результат:

def compute_correct_rolling_count(df, window_seconds=3):
    msg_counts = []
    for _, group_df in df.groupby('from_author_id'):
        count_list = []
        for i in range(len(group_df)):
            start_time = group_df.iloc[i]['published_at'] - pd.Timedelta(seconds=window_seconds)
            count = group_df[(group_df['published_at'] > start_time) & (group_df['published_at'] <= group_df.iloc[i]['published_at'])].shape[0]
            count_list.append(count)
        msg_counts.extend(count_list)
    return msg_counts

# Compute the rolling count within a 3-second window for each author
df['msg_count_last_3secs'] = compute_correct_rolling_count(df, window_seconds=3)

Схема таблицы project.message.message: опубликовано_в (TIMESTAMP) from_author_id (STRING) текст (STRING) другие поля

Кроме того, Режим округления по умолчанию ROUNDING_MODE_UNSPECIFIED Разделено по ДЕНЬ Разделено на поле опубликовано_на

Я тоже использую google-cloud-bigquery 3.25.0.