Сглаживание списков внутри серии Pandas

После того, как вы explode, используйте .str[0], чтобы получить первое значение каждого подсписка или NaN, если его нет, затем dropna и восстановите списки с помощью groupby(level=0) + agg(list):

df['l'] = df['l'].explode().str[0].dropna().groupby(level=0).agg(list)

Выход:

>>> df
                                  l
0                       [ambulance]
1  [truck, bus, company, ambulance]
2                             [bus]

Можно просто mapsum

df['l'] = df['l'].map(lambda x : sum(x,[]))