Как эффективно сопоставить значения (из файла CSV) с Pandas DataFrame?

У меня есть такой CSV:

Где первый столбец может иметь пробелы, но второй и третий не имеют пробелов в середине значений.

Значения столбца TO_REPLACE следует заменить значениями в столбце VALUE_TO_COPY при условии, что содержимое их ячеек совпадает со значением ячейки столбца TO_SEARCH. Итак, результат должен быть таким:

Я написал сценарий:

import pandas as pd
import numpy as np

df = pd.read_csv(
    filepath_or_buffer='mapping_test.csv',
    delimiter=',',
    dtype=str
)

to_replace = df['TO_REPLACE'].copy()
result = df['TO_REPLACE'].copy()

df = df.set_index('TO_SEARCH')
df.dropna(
    how='all',
    inplace=True
)

del df['TO_REPLACE']

for key, value in to_replace.iteritems():
    try:
        result[key] = df.loc[value, 'VALUE_TO_COPY']
    except:
        print('ERROR, not found KEY: {}'.format(key))

result_df = pd.DataFrame(
    data = {
        'TO_REPLACE': result,
        'VALUE_TO_COPY': list(df['VALUE_TO_COPY']) + [np.nan] * (len(result) - df['VALUE_TO_COPY'].size),
        'TO_SEARCH': list(df.index) + [np.nan] * (len(result) - df['VALUE_TO_COPY'].size),
    }, 
    columns=['TO_REPLACE','VALUE_TO_COPY','TO_SEARCH']  # to preserve the column order
)

result_df.to_csv(
    path_or_buf='mapping_result.csv',
    index=False
)

Что я делаю в своем коде:

1. Я прочитал данные из CSV в DataFrame

2. Я разделил DataFrame на две части. С одной стороны, я храню TO_REPLACE как серию, а с другой стороны, DataFrame со столбцами VALUE_TO_COPY и TO_SEARCH. Я использую TO_SEARCH в качестве индекса этого DataFrame.

3. Я перебираю столбец TO_REPLACE, чтобы найти значения в столбце TO_SEARCH. Если значения не совпадают, я сохраняю старое значение.

4. Я снова создаю DataFrame с замененными значениями и сохраняю его в файл CSV.

Но это не очень эффективно. Мне очень часто нужно отображать тысячи значений, поэтому мне нужен более эффективный код. Есть идеи улучшить мой код?

Возможно, я мог бы использовать методы map (для Series), apply или applymap (для DF). По крайней мере, я отказался от apply, потому что он работает со всей строкой за раз, а applymap работает со всем DataFrame. Возможно, наиболее полезным является map, но я думаю, что он выполняет итерацию по всем значениям, как я это делал вручную. Другой возможный вариант, который я рассмотрел, - это метод replace, но я читал, что map быстрее.