Каков более быстрый способ использования Pandas для создания .loc в большом кадре данных?
У меня есть большой фрейм данных с данными о клиентах. Затем у меня есть два списка с уникальными идентификаторами клиентов и уникальными резервными значениями. Оба списка имеют одинаковую длину. Мне нужно более быстрое решение для переопределения столбца в наборе данных, если уникальный идентификатор присутствует в списке.
Вот что я сейчас делаю:
for unique_id, overrides_id in zip([list of unique_ids], [list of override ids]):
df.loc[df['Unique_ID_Column'] == unique_id, 'unique_id_backup'] = override_id
Я предполагаю, что многие строки в фрейме данных могут иметь один и тот же уникальный идентификатор, но списки имеют уникальные уникальные идентификаторы?
Почему overrides_id не используется?
Не делайте этого: вместо этого используйте groupby. Примеров множество, особенно здесь, о переполнении стека. Обратите внимание, что вы можете построить индекс из сгруппированных кадров данных. Вот пример.
Ответы 1
Я предполагаю, что в вопросе опечатка и задание должно быть таким.
df.loc[df['Unique_ID_Column'] == unique_id, 'unique_id_backup'] = overrides_id
Я думаю, вы могли бы использовать метод Series.map. Сначала вы должны создать mapper словарь {keys:values}, где keys — элементы из списка unique_id, а values — overrides_id. Затем вы можете использовать этот преобразователь, чтобы соответствующим образом переопределить значения. Вы не упомянули, что делать со строками, где идентификатор клиента отсутствует в списке unique_id.
df['unique_id_backup'] = df['Unique_ID_Column'].map(mapper)
Это должно сделать то, что вам нужно: заменить отсутствующие идентификаторы на NaN в столбце «unique_id_backup». Если вы хотите сохранить исходный идентификатор на случай его отсутствия, вы можете сделать:
df['unique_id_backup'] = df['Unique_ID_Column'].map(lambda x:mapper.get(x,x))
Рабочий пример:
import pandas as pd
df = pd.DataFrame(
{'Unique_ID_Column': [1, 2, 3, 4, 5],
'Some customer data': ['A', 'B', 'C', 'D', 'E']}
)
unique_id = [1, 3, 5]
override_id = [10, 30, 50]
mapper = dict(zip(unique_id, override_id))
df['unique_id_backup'] = df['Unique_ID_Column'].map(lambda x: mapper.get(x, x))
>>> Unique_ID_Column Some customer data unique_id_backup
0 1 A 10
1 2 B 2
2 3 C 30
3 4 D 4
4 5 E 50
Я не эксперт по пандам, но думаю, что вы можете создать df из двух списков, а затем выполнить какое-то слияние этого df с исходным df.