Множественные группировки и групповые агрегации с использованием Python Pandas

Вы можете фильтровать по условиям с помощью Series.isin для совпадения нескольких sku и для старых несовпадающих значений с помощью ~ для инвертированной маски:

mask = df.sku.isin(['new','foo','foo1','foo3'])
new = df[mask]

old = df[~mask] 

Затем агрегируйте mean и для всех остальных значений используйте sum только для числовых столбцов:

df = (new.groupby('rack').mean()
         .append(old.select_dtypes(np.number).sum().to_frame('old').T)
         .rename_axis('col')
         .reset_index())

print (df)
   col  backup  free  total
0    d     2.0   1.5    3.5
1    e     2.0   1.5    3.5
2  old     5.0  14.0   19.0

Если возможно группировка по rack и date решению немного изменена - для старых значений используется первое значение date:

mask = df.sku.isin(['new','foo','foo1','foo3'])
new = df[mask]

old = df[~mask] 

df = (new.groupby(['rack', 'date']).mean()
         .append(old.select_dtypes(np.number).sum().to_frame(('old', old['date'].iat[0])).T)
         .reset_index())

print (df)
  rack       date  backup  free  total
0    d  11/1/2020     2.0   1.5    3.5
1    e  11/1/2020     2.0   1.5    3.5
2  old  11/1/2020     5.0  14.0   19.0

Вы можете сначала groupby по 'sku'. Затем вы можете получить целевую группу с помощью get_group, снова groupby и подсчитать итог. Например, среднее значение для 'new':

g = df.groupby('sku')
g.get_group('new').groupby('rack').mean()

Выход:

      used  free  total
rack                   
d      2.0   1.5    3.5
e      2.0   1.5    3.5

Подход, чтобы взять среднее значение по стойке для всех групп, кроме последней (которая будет суммой):

# Define last group for suming
last_grp = 'old'
# Calculate the mean by rack to all groups but last one
out = df.query('sku!=@last_grp').groupby(['sku','rack']).mean()
# Add sum from last group to df
out.loc[(last_grp, ''),:] = df.query('sku==@last_grp').select_dtypes(np.number).sum()
# Add date back to df (if more than one date, it'll be concatenated with comma)
out['date'] = ','.join(df.date.unique())

Выход:

          used  free  total       date
sku rack                              
new d      2.0   1.5    3.5  11/1/2020
    e      2.0   1.5    3.5  11/1/2020
old        5.0  14.0   19.0  11/1/2020

Примечание. Если вы не хотите суммировать все группы, вам нужно заменить df.query('sku!=@last_grp') на df[df.sku.isin(target_grps)], где target_grps означает ваши целевые группы (например, «новый», «foo», «foo2»).