Заполните отсутствующие даты для фрейма данных pandas с несколькими сериями

У меня есть фрейм данных, содержащий несколько временных рядов, например:

ДатаВещьКатегория
2021-01-01гаудасыр
2021-01-02гаудасыр
2021-01-04гаудасыр
2021-01-05гаудасыр
2021-02-01латукпроизводить
2021-02-02латукпроизводить
2021-02-03латукпроизводить
2021-02-05латукпроизводить

Я хотел бы добавить строки для отсутствующих дат (например, 2021-01-03 для гауды, 2021-02-04 для салата). Обратите внимание, что эти серии не обязательно начинаются и заканчиваются в один и тот же день.

Каков наилучший способ сделать это в пандах? Я также хотел бы заполнить новые строки значениями в столбцах «элемент» и «категория» для этой серии.

Я бы предложил перебрать столбец «Дата» с некоторой логикой, чтобы найти отсутствующие даты, а затем вставить строку, когда вы найдете отсутствующую. Это будет выглядеть как цикл for для каждой строки [0], и если предыдущий день не отстает от текущего дня на 1 день, тогда вставьте строку в эту точку.

Mason Choi 06.04.2022 20:11
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения текстовых сообщений может быть настолько сложным или простым, насколько вы его сделаете. Как и в любом ML-проекте, вы можете выбрать...
7 лайфхаков для начинающих Python-программистов
7 лайфхаков для начинающих Python-программистов
В этой статье мы расскажем о хитростях и советах по Python, которые должны быть известны разработчику Python.
Установка Apache Cassandra на Mac OS
Установка Apache Cassandra на Mac OS
Это краткое руководство по установке Apache Cassandra.
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
В одном из недавних постов я рассказал о том, как я использую навыки количественных исследований, которые я совершенствую в рамках программы TPQ...
Создание персонального файлового хранилища
Создание персонального файлового хранилища
Вы когда-нибудь хотели поделиться с кем-то файлом, но он содержал конфиденциальную информацию? Многие думают, что электронная почта безопасна, но это...
Создание приборной панели для анализа данных на GCP - часть I
Создание приборной панели для анализа данных на GCP - часть I
Недавно я столкнулся с интересной бизнес-задачей - визуализацией сбоев в цепочке поставок лекарств, которую могут просматривать врачи и...
1
1
34
4
Перейти к ответу Данный вопрос помечен как решенный

Ответы 4

Ответ принят как подходящий

Сгруппируйте по Item и Category, затем создайте временной ряд от минимальной до максимальной даты:

result = (
    df.groupby(["Item", "Category"])["Date"]
    .apply(lambda s: pd.date_range(s.min(), s.max()))
    .explode()
    .reset_index()
)

Это далеко не оптимально, но я бы сделал так, чтобы все категории и элементы находились в пределах минимального и максимального периодов, а все диапазоны были заполнены:

aux = []
for x in df['Item'].unique():
  _ = pd.DataFrame({'Date':pd.date_range(df[df['Item']==x]['Date'].min(),df[df['Item']==x]['Date'].max(),freq='d')})
  _['Item'] = x
  _['Category'] = df[df['Item']==x]['Category'].values[0]
  aux.append(_)
output = pd.concat(aux)  

Рассмотрим этот пример набора данных:

df = pd.DataFrame({'Date':['2021-01-01','2021-01-02','2021-01-04','2021-01-05','2021-01-01','2021-01-02','2021-01-04','2021-01-05'],
                   'Item':['gouda','gouda','gouda','gouda','lettuce','lettuce','lettuce','lettuce'],
                   'Category':['cheese','cheese','cheese','cheese','produce','produce','produce','produce']})
df['Date'] = pd.to_datetime(df['Date'],infer_datetime_format=True)

Выходы:

        Date     Item Category
0 2021-01-01    gouda   cheese
1 2021-01-02    gouda   cheese
2 2021-01-03    gouda   cheese
3 2021-01-04    gouda   cheese
4 2021-01-05    gouda   cheese
0 2021-01-01  lettuce  produce
1 2021-01-02  lettuce  produce
2 2021-01-03  lettuce  produce
3 2021-01-04  lettuce  produce
4 2021-01-05  lettuce  produce

Вы можете сделать resample

df['Date'] = pd.to_datetime(df['Date'])
df['Y-m'] = df['Date'].dt.strftime('%y-%m')
out = df.groupby('Y-m').apply(lambda x : x.set_index('Date').resample('D').ffill()).reset_index(level=1)

Один из вариантов — функция полный из пиянитор для явного создания отсутствующих строк:

# pip install pyjanitor
import pandas as pd
import janitor

df.complete(
    {'Date': lambda date: pd.date_range(date.min(), date.max())}, 
    by = ['Item', 'Category'], 
    sort = True)
 
        Date     Item Category
0 2021-01-01    gouda   cheese
1 2021-01-02    gouda   cheese
2 2021-01-03    gouda   cheese
3 2021-01-04    gouda   cheese
4 2021-01-05    gouda   cheese
5 2021-02-01  lettuce  produce
6 2021-02-02  lettuce  produce
7 2021-02-03  lettuce  produce
8 2021-02-04  lettuce  produce
9 2021-02-05  lettuce  produce

Словарь помогает вводить значения в фрейм данных. Ключ фрейма данных должен быть существующим столбцом; лямбда-функция относится к столбцу Date

Другие вопросы по теме