Как вычислить среднее значение из набора столбцов на основе нескольких условий в pandas?
Я хочу создать новый столбец, который показывает среднее значение на основе нескольких условий. По большей части новый столбец должен вычислять среднее значение трех столбцов. Однако если разница между A и B или B и C больше 10, то следует использовать только 2 значения с наименьшей разницей.
Например, если A = 2, B = 15 и C = 13, то средний столбец должен показывать 14. Поскольку разница между A и B больше 10, в столбце должны использоваться B и C, поскольку они имеют наименьшую разницу для расчета. значение.
Я попытался добавить дополнительные столбцы, которые определяют разницу между A и B, а также между B и C. После этого я использовал условный оператор для создания списка, который добавляет средние вычисления на основе условий, а затем добавляет список как столбец. Однако я получаю сообщение об ошибке «Длина значений не соответствует длине индекса».
Это код, используемый для создания моего фрейма данных:
df = pd.DataFrame(np.random.randint(0,20,size=(50, 3)),
columns=list('ABC'))
Моя попытка найти решение:
df['diff_1'] = df['A'] - df['B']
df['diff_2'] = df['B'] - df['C']
average = []
for i in df['diff_1']:
if i < -5:
average.append(df[['A','B']].mean(axis=1))
if i > 5:
average.append(df[['A','B']].mean(axis=1))
else:
average.append(df[['A','B','C']].mean(axis=1))
df['average'] = average
Затем я бы повторил для diff_2 и удалил дубликаты, однако это дает мне вышеупомянутую ошибку: "Длина значений не соответствует длине индекса". Поэтому мне интересно, есть ли более подходящий метод.
Я ожидаю столбец, который показывает среднее значение всех трех столбцов, за исключением случаев, когда разница между A и B или B и C больше 10. Если это так, он должен вычислить среднее значение, используя только 2 числа с наименьшей разницей .
Ответы 1
Используйте numpy.select для выбора значений по условиям:
np.random.seed(123)
df = pd.DataFrame(np.random.randint(0,20,size=(50, 3)),
columns=list('ABC'))
df['diff_ab'] = (df['A'] - df['B']).abs()
df['diff_bc'] = (df['B'] - df['C']).abs()
mindiff = df[['diff_ab','diff_bc']].min(axis=1)
ab = df[['A','B']].mean(axis=1)
bc = df[['B','C']].mean(axis=1)
abc = df[['A','B','C']].mean(axis=1)
N = 10
df['average1'] = np.select([(df['diff_ab'] > N) & mindiff.eq(df['diff_bc']),
(df['diff_bc'] > N) & mindiff.eq(df['diff_ab'])],
[bc, ab],
default=abc)
Решение, если нужно среднее значение минимальной разницы любых значений в строках, если какая-либо разница меньше 10:
#https://stackoverflow.com/a/54861589
x = df[['A','B','C']].values
x.sort()
mask = np.any(np.diff(x) > 10, axis=1)
a = ((x[:, 1:] + x[:, :-1])/2)[np.arange(len(x)), np.diff(x).argmin(axis=1)]
df["average2"] = np.where(mask, a, x.mean(axis=1))
print (df.head(10))
A B C diff_ab diff_bc average1 average2
0 13 2 2 11 0 2.000000 2.000000
1 6 17 19 11 2 18.000000 18.000000
2 10 1 0 9 1 3.666667 3.666667
3 17 15 9 2 6 13.666667 13.666667
4 0 14 0 14 14 7.000000 0.000000
5 15 19 14 4 5 16.000000 16.000000
6 4 0 16 4 16 2.000000 2.000000
7 4 17 3 13 14 10.500000 3.500000
8 2 7 2 5 5 3.666667 3.666667
9 15 16 7 1 9 12.666667 12.666667
Решение с проверкой всех столбцов, используемых для подсчета для проверки/отладки:
np.random.seed(123)
df = pd.DataFrame(np.random.randint(0,20,size=(50, 3)),
columns=list('ABC'))
df['diff_ab'] = df['A'] - df['B']
df['diff_bc'] = df['B'] - df['C']
#if need difference in absolute values
#df['diff_ab'] = (df['A'] - df['B']).abs()
#df['diff_bc'] = (df['B'] - df['C']).abs()
df['mindiff'] = df[['diff_ab','diff_bc']].min(axis=1)
df['ab'] = df[['A','B']].mean(axis=1)
df['bc'] = df[['B','C']].mean(axis=1)
df['abc'] = df[['A','B','C']].mean(axis=1)
N = 10
df['average'] = np.select([(df['diff_ab'] > N) & df['mindiff'].eq(df['diff_bc']),
(df['diff_bc'] > N) & df['mindiff'].eq(df['diff_ab'])],
[df['bc'], df['ab']], default=df['abc'])
Здесь сравнивается также разница столбцов A и C?