Сравните 2 столбца списка в фрейме данных pandas. Удалить значение из одного списка, если оно присутствует в другом

Вам нужно застегнуть две серии. Я использую набор здесь для эффективности (это не критично, если у вас всего несколько элементов в списке):

df['group1'] = [[x for x in a if x not in S]
                for a, S in zip(df['group1'], df['group2'].apply(set))]

Вывод:

         group1          group2
0  [John, Mark]      [Aya, Boa]
1         [Ben]   [Mab, Johnny]
2      [Daniel]  [Sarah, Peter]

Вы можете использовать цикл в лямбда-функции:

df['group1']=df[['group1','group2']].apply(lambda x: [i for i in x['group1'] if i not in x['group2']],axis=1)
print(df)
'''
         group1          group2
0  [John, Mark]      [Aya, Boa]
1         [Ben]   [Mab, Johnny]
2      [Daniel]  [Sarah, Peter]
'''

Вы можете использовать установленную разницу:

df.apply(lambda x: set(x['group1']).difference(x['group2']), axis=1)

Вывод:

0    {John, Mark}
1           {Ben}
2        {Daniel}
dtype: object

Чтобы получить списки, вы можете добавить .apply(list) в конце.