Python – Pandas: групповое заполнение для нескольких столбцов
У меня есть следующий DataFrame с некоторыми отсутствующими значениями. Я хочу использовать ffill() для заполнения пропущенных значений как в var1, так и в var2, сгруппированных по date и building. Я могу сделать это для одной переменной за раз, но когда я пытаюсь сделать это для обеих, происходит сбой. Как сделать это сразу для обеих переменных, при этом тоже не изменяя, а сохраняя var3 или var4?
df = pd.DataFrame({
'date': ['2019-01-01','2019-01-01','2019-01-01','2019-01-01','2019-02-01','2019-02-01','2019-02-01','2019-02-01'],
'building': ['a', 'a', 'b', 'b', 'a', 'a', 'b', 'b'],
'var1': [1.5, np.nan, 2.1, 2.2, 1.2, 1.3, 2.4, np.nan],
'var2': [100, 110, 105, np.nan, 102, np.nan, 103, 107],
'var3': [10, 11, np.nan, np.nan, np.nan, np.nan, np.nan, np.nan],
'var4': [1, 2, 3, 4, 5, 6, 7, 8]
})
df
date building var1 var2 var3 var4
0 2019-01-01 a 1.5 100.0 10.0 1
1 2019-01-01 a NaN 110.0 11.0 2
2 2019-01-01 b 2.1 105.0 NaN 3
3 2019-01-01 b 2.2 NaN NaN 4
4 2019-02-01 a 1.2 102.0 NaN 5
5 2019-02-01 a 1.3 NaN NaN 6
6 2019-02-01 b 2.4 103.0 NaN 7
7 2019-02-01 b NaN 107.0 NaN 8
# This works
df['var1'] = df.groupby(['date', 'building'])['var1'].ffill()
df['var2'] = df.groupby(['date', 'building'])['var2'].ffill()
df
date building var1 var2 var3 var4
0 2019-01-01 a 1.5 100.0 10.0 1
1 2019-01-01 a 1.5 110.0 11.0 2
2 2019-01-01 b 2.1 105.0 NaN 3
3 2019-01-01 b 2.2 105.0 NaN 4
4 2019-02-01 a 1.2 102.0 NaN 5
5 2019-02-01 a 1.3 102.0 NaN 6
6 2019-02-01 b 2.4 103.0 NaN 7
7 2019-02-01 b 2.4 107.0 NaN 8
# This doesn't work
df[['var1', 'var2']] = df.groupby(['date', 'building'])[['var1', 'var2']].ffill()
ValueError: Columns must be same length as key
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
4
0
4 455
3
Перейти к ответу
Данный вопрос помечен как решенный
Ответы 3
Сделайте это итеративно:
gb = df.groupby(['date', 'building'])
for g in ["var1", "var2"]:
df[g] = gb[g].ffill()
date building var1 var2 var3 var4
0 2019-01-01 a 1.5 100.0 10.0 1
1 2019-01-01 a 1.5 110.0 11.0 2
2 2019-01-01 b 2.1 105.0 NaN 3
3 2019-01-01 b 2.2 105.0 NaN 4
4 2019-02-01 a 1.2 102.0 NaN 5
5 2019-02-01 a 1.3 102.0 NaN 6
6 2019-02-01 b 2.4 103.0 NaN 7
7 2019-02-01 b 2.4 107.0 NaN 8
@Gaurav Bansal Вам просто не хватает нескольких столбцов при подборе группы в фрейме данных.
df[['date', 'building','var1', 'var2']] = df.groupby(['date', 'building'])[['var1', 'var2']].ffill()
Group by вернет фрейм данных из четырех столбцов, который равен 'дата', здание', 'var1' и 'var2', или вы можете просто указать фрейм данных для хранения обработанного кадра данных.
Поэтому вам нужно сохранить его в четыре столбца df, чтобы получить идеальное совпадение для возвращаемого значения ключа.
Ответ принят как подходящий
Я думаю, вам нужно добавить fillna перед вашим groupby.
df[["var1", "var2"]] = df[["var1", "var2"]].fillna(df.groupby(['date', 'building'])[["var1", "var2"]].ffill())
date building var1 var2 var3 var4
0 2019-01-01 a 1.5 100.0 10.0 1
1 2019-01-01 a 1.5 110.0 11.0 2
2 2019-01-01 b 2.1 105.0 NaN 3
3 2019-01-01 b 2.2 105.0 NaN 4
4 2019-02-01 a 1.2 102.0 NaN 5
5 2019-02-01 a 1.3 102.0 NaN 6
6 2019-02-01 b 2.4 103.0 NaN 7
7 2019-02-01 b 2.4 107.0 NaN 8
Другие вопросы по теме
Можно ли использовать Datalab с многопроцессорной обработкой для масштабирования преобразований Pandas?
Python: как сгруппировать по двум столбцам?
Панды - как часто каждая строка в строках, разделенных запятыми, присутствует в фрейме данных
Python - элемент поиска в списке внутри строк фрейма данных
Groupby .sum() принимает только один элемент в фрейме данных pandas
Добавьте одинарные кавычки вокруг элементов в строковых и целочисленных столбцах в фрейме данных Python Pandas
Сдвиг части строки в фрейме данных вправо?
Подсчитайте максимальное количество последовательных вхождений строки в столбце фрейма данных
Pandas groupby применить/преобразовать операцию, чтобы выполнить манипуляцию для каждой группы
Нарезка кадра данных по тексту внутри текста
Похожие вопросы
Сбой загрузки rasterio и gdal DLL в PyCharm
Os.read(0,) против sys.stdin.buffer.read() в python
Объект «Тензор» не имеет атрибута «numpy» в tf.function в TF 2.0
AttributeError: объект «Модель» не имеет атрибута «_name» во время конкатенации входного слоя
Python: как сгруппировать по двум столбцам?
Как извлечь гладкий скелет из изображения
Django Test работает с тестовым приложением manage.py, но не с тестом manage.py
Модель регрессии Кераса с 3 выходами дает точные результаты только для одного
Панды - как часто каждая строка в строках, разделенных запятыми, присутствует в фрейме данных
Ошибка индекса Python в цикле, когда индекс находится в цикле for
Проблема здесь в том, что сохраняются только
var1иvar2. Я изменил свой вопрос, включив в него другие переменные, которые нельзя отбрасывать или изменять.