Как сравнить два кадра данных по значениям и заголовкам столбцов в Pandas?

Вот один из подходов:

out = df_sets.merge(df_counts, on='gene_id', how='left')

m = out['set_1'].str.join('|').str.get_dummies().astype(bool)

out.loc[:, m.columns] = out.loc[:, m.columns].where(m)

out['mean_set_1'] = out.loc[:, m.columns].mean(axis=1)

Выход:

  gene_id                  set_1  P1-6  P1-12  P1-25  P1-28  mean_set_1
0      g0  [P1-12, P1-25, P1-28]   NaN    2.0      5    3.0    3.333333
1      g2   [P1-6, P1-12, P1-25]   5.0    6.0      2    NaN    4.333333
2      g3   [P1-6, P1-25, P1-28]   7.0    NaN      6    2.0    5.000000

Объяснение / Промежуточные продукты

• Примените df.merge с on='gene_id' и how='left'.
• Примените горячее кодирование к столбцу 'set_1', используя Series.str.join + Series.str.get_dummies + Series.astype.

m

   P1-12  P1-25  P1-28   P1-6 # note that col order is (probably) not yet correct!
0   True   True   True  False
1   True   True  False   True
2  False   True   True   True

(Если производительность вызывает беспокойство, проверьте здесь, чтобы найти альтернативные методы для этого шага.)

• Используйте df.loc + df.where, чтобы заменить значения на NaN где False.
• Добавьте среднее значение по строкам с помощью df.mean на axis=1.

Н.Б. Если вы рискуете, что set_1 не будет соответствовать одному или нескольким столбцам 'P1-*', обязательно используйте df.reindex. Например. предположим, мы имеем:

d_counts = {'gene_id': ['g0', 'g1', 'g2', 'g3'],
            'P1-6': [1, 2, 5, 7],
            'P1-12': [2, 4, 6, 5],
            'P1-25': [5, 1, 2, 6],
            'P1-28': [3, 8, 1, 2],
            'P1-30': [3, 8, 1, 2], # < not present in `set_1`
            }
df_counts = pd.DataFrame.from_dict(data=d_counts)

Тогда вы можете добавить:

# ...

m = out['set_1'].str.join('|').str.get_dummies().astype(bool)
m = m.reindex(df_counts.columns[1:], axis=1)

# ...