Не все applys одинаковы

В приведенной ниже таблице показано, когда следует рассматривать apply¹. Зеленый означает возможно эффективный; красный избегать.

Немного этого интуитивно понятен: pd.Series.apply — это построчный цикл на уровне Python, то же самое pd.DataFrame.apply построчный (axis=1). Злоупотребления ими многочисленны и разнообразны. В другом посте они рассматриваются более подробно. Популярными решениями являются использование векторизованных методов, списков (предполагает чистые данные) или эффективных инструментов, таких как конструктор pd.DataFrame (например, чтобы избежать apply(pd.Series)).

Если вы используете pd.DataFrame.apply построчно, часто полезно указать raw=True (где это возможно). На этом этапе numba обычно является лучшим выбором.

GroupBy.apply: общепризнанный

Повторение операций groupby, чтобы избежать apply, снизит производительность. GroupBy.apply здесь обычно подходит, при условии, что методы, которые вы используете в своей пользовательской функции, сами векторизованы. Иногда нет собственного метода Pandas для групповой агрегации, которую вы хотите применить. В этом случае для небольшого количества групп apply с пользовательской функцией все же может предложить приемлемую производительность.

pd.DataFrame.apply по колонке: смешанная ситуация

pd.DataFrame.apply по столбцам (axis=0) — интересный случай. Для небольшого количества строк по сравнению с большим количеством столбцов это почти всегда дорого. Для большого количества строк по отношению к столбцам, что является более распространенным случаем, вы можете иногда увидеть значительное улучшение производительности при использовании apply:

# Python 3.7, Pandas 0.23.4
np.random.seed(0)
df = pd.DataFrame(np.random.random((10**7, 3)))     # Scenario_1, many rows
df = pd.DataFrame(np.random.random((10**4, 10**3))) # Scenario_2, many columns

                                               # Scenario_1  | Scenario_2
%timeit df.sum()                               # 800 ms      | 109 ms
%timeit df.apply(pd.Series.sum)                # 568 ms      | 325 ms

%timeit df.max() - df.min()                    # 1.63 s      | 314 ms
%timeit df.apply(lambda x: x.max() - x.min())  # 838 ms      | 473 ms

%timeit df.mean()                              # 108 ms      | 94.4 ms
%timeit df.apply(pd.Series.mean)               # 276 ms      | 233 ms

¹ Есть исключения, но они, как правило, маргинальны или необычны. Несколько примеров:

1. df['col'].apply(str) может немного опередить df['col'].astype(str).
2. df.apply(pd.to_datetime), работающий со строками, плохо масштабируется со строками по сравнению с обычным циклом for.

Бывают ли когда-нибудь ситуации, когда apply хорош? Да, иногда.

Задача: декодировать строки Unicode.

import numpy as np
import pandas as pd
import unidecode

s = pd.Series(['mañana','Ceñía'])
s.head()
0    mañana
1     Ceñía


s.apply(unidecode.unidecode)
0    manana
1     Cenia

Обновлять
Я ни в коем случае не выступал за использование apply, просто подумал, что, поскольку NumPy не может справиться с описанной выше ситуацией, он мог бы быть хорошим кандидатом на pandas apply. Но я забыл о простом понимании списка благодаря напоминанию @jpp.

Для axis=1 (т.е. построчные функции) вы можете просто использовать следующую функцию вместо apply. Интересно, почему это не поведение pandas. (Не тестировался с составными индексами, но кажется, что он намного быстрее, чем apply)

def faster_df_apply(df, func):
    cols = list(df.columns)
    data, index = [], []
    for row in df.itertuples(index=True):
        row_dict = {f:v for f,v in zip(cols, row[1:])}
        data.append(func(row_dict))
        index.append(row[0])
    return pd.Series(data, index=index)