Pandas groupby с новым столбцом для каждого значения
Надеюсь, название говорит само за себя; Я просто хотел бы добавить, что можно предположить, что каждый ключ имеет одинаковое количество значений. Поиск в Интернете по названию дал следующее решение:
Разделить фрейм данных pandas на основе groupby
Который должен решить мою проблему, хотя это не так. Я приведу пример:
Вход:
pd.DataFrame(data = {'a':['foo','foo','foo','bar','bar','bar'],'b':[1,2,3,4,5,6]})
Выход:
pd.DataFrame(data = {'a':['foo','bar'],'b':[1,4],'c':[2,5],'d':[3,6]})
Интуитивно это будет функция groupby без функции агрегации или функция агрегации, которая составляет список из ключей.
Очевидно, что это можно сделать «вручную», используя циклы for и т. д., но использование циклов for с большими наборами данных требует больших вычислительных ресурсов.
Ответы 2
Используйте GroupBy.cumcount для Series или столбца g, затем измените форму на DataFrame.set_index + Series.unstack или DataFrame.pivot, последнюю очистку данных на DataFrame.add_prefix, DataFrame.rename_axis с
DataFrame.reset_index:
g = df1.groupby('a').cumcount()
df = (df1.set_index(['a', g])['b']
.unstack()
.add_prefix('new_')
.reset_index()
.rename_axis(None, axis=1))
print (df)
a new_0 new_1 new_2
0 bar 4 5 6
1 foo 1 2 3
Или:
df1['g'] = df1.groupby('a').cumcount()
df = df1.pivot('a','g','b').add_prefix('new_').reset_index().rename_axis(None, axis=1)
print (df)
a new_0 new_1 new_2
0 bar 4 5 6
1 foo 1 2 3
@ user9548409 - Одна идея - возможна ли сортировка раньше? Поставить лайк df = df.sort_values('b'), а затем применить мое решение?
Извините, нет, у меня будут нулевые значения после группировки, которыми мне нужно заполнить 0, и только затем отсортировать.. сортировка до испортит порядок. Если это имеет значение, я использовал первый метод (не функцию поворота). Спасибо еще раз
@user9548409 - Хорошо, тогда используйте df_db[relevant_cols] = np.sort(df_db[relevant_cols], axis=1)
@ user9548409 - проверено с df_db = pd.DataFrame({ 'A':list('abcdef'), 'B':[4,5,4,5,5,4], 'C':[7,8,9,4,2,3], 'D':[1,3,5,7,1,0], 'E':[5,3,6,9,2,4], 'F':list('aaabbb') }) print (df_db) relevant_cols = ['B','C','E'] df_db[relevant_cols] = np.sort(df_db[relevant_cols], axis=1) print (df_db)
Очевидно, что этот будет работать. Это не работает после применения groupby... это каким-то образом портит индексы. Я пытался сбросить индекс, но все равно не работает
@user9548409 user9548409 - Если нужно работать с данными из вопроса, используйте df = df1.pivot('a','g','b'), а затем df = np.sort(df, axis=1) и после сортировки используйте .reset_index().rename_axis(None, axis=1). причина очень проста - после reset_index первый столбец не является числовым, и np.sort должна быть проблема. поэтому, если сначала отсортировать, а затем reset_index, то работать только с числовыми столбцами (new_0 new_1 new_2)
Я действительно сомневаюсь, что его нельзя настроить на сортировку после сброса индекса, но он действительно работает, если вы сортируете раньше. Большое спасибо, вы были правы, и это решено!
@ user9548409 - Добро пожаловать! Если мой ответ был полезен, не забудьте его принимать — нажмите на галочку рядом с ответом, чтобы переключить его с серого на заполненный. Спасибо.
Вот альтернативный подход, использующий groupby.apply и string.ascii_lowercase, если важны имена столбцов:
from string import ascii_lowercase
df = pd.DataFrame(data = {'a':['foo','foo','foo','bar','bar','bar'],'b':[1,2,3,4,5,6]})
# Groupby 'a'
g = df.groupby('a')['b'].apply(list)
# Construct new DataFrame from g
new_df = pd.DataFrame(g.values.tolist(), index=g.index).reset_index()
# Fix column names
new_df.columns = [x for x in ascii_lowercase[:new_df.shape[1]]]
print(new_df)
a b c d
0 bar 4 5 6
1 foo 1 2 3
Спасибо, тоже работает. Сначала я использовал метод другого комментария, но после того, как столкнулся с проблемами сортировки («ValueError: не может пометить индекс нулевым ключом»), я попробовал и этот, и он вызвал ту же ошибку. Помощь будет оценена решить это, а также. Гугление пока не помогло.
Большое спасибо. Это определенно решило эту проблему, но вызвало еще одну проблему при попытке отсортировать каждую строку: «df_db[relevant_cols]=df_db[relevant_cols].apply(np.sort,axis=1)». Поднято: ValueError: не может пометить индекс нулем key Я попытался снова сбросить индекс, не сработало. Есть идеи?