У меня есть фрейм данных, как показано ниже
import numpy as np
import pandas as pd
from numpy.random import default_rng
rng = default_rng(100)
cdf = pd.DataFrame({'Id':[1,2,3,4,5],
'year':[2017,2017,2018,2019,2018],
'customer': rng.choice(list('ACD'),size=(5)),
'region': rng.choice(list('PQRS'),size=(5)),
'dumeel': rng.choice(list('QWER'),size=(5)),
'dumma': rng.choice((1234),size=(5)),
'target_at50': rng.choice([0,1],size=(5)),
'target_at60': rng.choice([1,1],size=(5)),
'target_at70': rng.choice([0,0],size=(5))})
Моя цель - сделать следующее
а) Группировать столбцы на основе нескольких критериев (как показано в приведенном ниже коде)
б) Назначьте значение по умолчанию на основе целевого столбца. (пример: если target_at50, то присвойте значение 50, если target_at60, то присвойте 60. если target_at70, то присвойте 70)
б) Повторить ту же группу по критериям для другого целевого столбца (target_at60, target_at70)
c) записать результат каждого оператора группы для каждой цели на новый лист в одном файле Excel.
Я пробовал что-то вроде ниже, но это не эффективно и не элегантно. Вы можете видеть, что я использую один и тот же код, но повторяю его трижды для разных целевых столбцов (target_at50. target_at60, target_at70
)
cdf.groupby(['region','target_at50']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=50).to_excel(writer,'sheet1')
cdf.groupby(['region','customer','target_at50']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=50).to_excel(writer,'sheet2')
cdf.groupby(['region','dumeel','target_at50']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=50).to_excel(writer,'sheet3')
cdf.groupby(['region','year','target_at50']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=50).to_excel(writer,'sheet4')
cdf.groupby(['region','year','customer','target_at50']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=50).to_excel(writer,'sheet5')
cdf.groupby(['region','year','dumeel','target_at50']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=50).to_excel(writer,'sheet6')
cdf.groupby(['region','target_at60']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=60).to_excel(writer,'sheet7')
cdf.groupby(['region','customer','target_at60']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=60).to_excel(writer,'sheet8')
cdf.groupby(['region','dumeel','target_at60']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=60).to_excel(writer,'sheet9')
cdf.groupby(['region','year','target_at60']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=60).to_excel(writer,'sheet10')
cdf.groupby(['region','year','customer','target_at60']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=60).to_excel(writer,'sheet11')
cdf.groupby(['region','year','dumeel','target_at60']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=60).to_excel(writer,'sheet12')
cdf.groupby(['region','target_at70']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=70).to_excel(writer,'sheet13')
cdf.groupby(['region','customer','target_at70']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=70).to_excel(writer,'sheet14')
cdf.groupby(['region','dumeel','target_at70']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=70).to_excel(writer,'sheet15')
cdf.groupby(['region','year','target_at70']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=70).to_excel(writer,'sheet16')
cdf.groupby(['region','year','customer','target_at70']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=70).to_excel(writer,'sheet17')
cdf.groupby(['region','year','dumeel','target_at70']).size().reset_index(name='Count').sort_values(by=['region','Count'],ascending=False).assign(threshold=70).to_excel(writer,'sheet18')
Хотя все приведенные выше операторы group by работают нормально, я хотел бы знать, есть ли какой-либо эффективный и лучший подход для выполнения вышеуказанной задачи?
Я ожидаю, что мой вывод будет иметь excel с несколькими листами (18 листов) (который будет иметь вывод из 18 операторов groupby)
Сначала сгенерируйте все комбинации, переданные groupby
:
from itertools import combinations
targets = cdf.filter(like='target').columns
cols = ['customer', 'year', 'dumeel']
tups = [('region', *c, t) for t in targets
for i in range(0, len(cols)+1)
for c in combinations(cols, i)]
print (tups)
Затем Ant записывает совокупные значения в цикле:
with pd.ExcelWriter('Values.xlsx') as writer:
for i, val in enumerate(tups, 1):
threshold = re.
df = (cdf.groupby(val).size().reset_index(name='Count')
.sort_values(by=['region','Count'],ascending=False)
.assign(threshold=int(re.findall('\d+',val[-1])[0]))
df.to_excel(writer,sheet_name=f'sheet{i}')
да, сочетания правильные
@TheGreat - ответ завершен.
но присвоить значение постоянно в вашем коде? Он должен меняться в зависимости от разных целевых столбцов.
@TheGreat - ой. Подожди секунду
@TheGreat - Можете ли вы проверить, хорошие ли комбинации
tups
?