Как добавить новую строку, которая копирует некоторые столбцы, но присваивает новые значения в других столбцах
У меня есть фрейм данных, который выглядит так:
df = pd.DataFrame({'VisitorID': [1000, 1000, 1000, 1000, 1000, 1000, 1000, 1000],
'EpochTime': [1554888560, 1554888560, 1554888560, 1554888560, 1554888560, 1521333510, 1521333510, 1521333510],
'HitTime': [1400, 5340, 7034, 11034, 13059, 990, 4149, 6450],
'HitNumber':[23, 54, 55, 65, 110, 14, 29, 54],
'PagePath':['orders/details', 'orders/payment', 'orders/afterpayment', 'orders/myorders', 'customercare', 'orders/details', 'orders/payment', 'orders/myorders']})
print(df)
VisitorID EpochTime HitTime HitNumber PagePath
0 1000 1554888560 1400 23 orders/details
1 1000 1554888560 5340 54 orders/payment
2 1000 1554888560 7034 55 orders/afterpayment
3 1000 1554888560 11034 65 orders/myorders
4 1000 1554888560 13059 110 customercare
5 1000 1521333510 990 14 orders/details
6 1000 1521333510 4149 29 orders/payment
7 1000 1521333510 6450 54 orders/myorders
На самом деле мой фрейм данных +- 10 миллионов строк. И имеет в два раза больше столбцов. Данные состоят из данных веб-сайта, которые показывают поведение клиентов.
Что я хочу сделать
Чтобы проанализировать, как долго клиенты находятся на веб-сайте, прежде чем они дойдут до первой отслеживаемой страницы, я хочу добавить одну строку над каждой группой, которая копирует значения верхней строки из столбцов:
- ID посетителя
- ЭпохаВремя
Но дает новые значения столбцам:
- Время попадания = 0
- Количество попаданий = 0
- Путь к странице =
Home
Информация: Сочетание VisitorID + EpochTime делает группу уникальной.
Я достиг этого с помощью следующего кода, но для запуска требуется +- 5 минут, я думаю, что должен быть более быстрый способ:
lst = []
for x, y in df.groupby(['VisitorID', 'EpochTime']):
lst.append(y.iloc[:1])
df_first = pd.concat(lst, ignore_index=True)
df_first['HitTime'] = 0.0
df_first['HitNumber'] = 0.0
df_first['PagePath'] = 'Home'
print(df_first)
VisitorID EpochTime HitTime HitNumber PagePath
0 1000 1521333510 0.0 0.0 Home
1 1000 1554888560 0.0 0.0 Home
df_final = pd.concat([df, df_first], ignore_index=True).sort_values(['VisitorID', 'EpochTime', 'HitNumber']).reset_index(drop=True)
print(df_final)
VisitorID EpochTime HitTime HitNumber PagePath
0 1000 1521333510 0.0 0.0 Home
1 1000 1521333510 990.0 14.0 orders/details
2 1000 1521333510 4149.0 29.0 orders/payment
3 1000 1521333510 6450.0 54.0 orders/myorders
4 1000 1554888560 0.0 0.0 Home
5 1000 1554888560 1400.0 23.0 orders/details
6 1000 1554888560 5340.0 54.0 orders/payment
7 1000 1554888560 7034.0 55.0 orders/afterpayment
8 1000 1554888560 11034.0 65.0 orders/myorders
9 1000 1554888560 13059.0 110.0 customercare
Результатом df_final является мой ожидаемый результат.
Итак, вопрос в том, могу ли я сделать это более эффективным способом?
Ответы 1
Вы можете использовать DataFrame.drop_duplicates для небольшого повышения производительности:
d = {'HitTime':0,'HitNumber':0,'PagePath':'Home'}
df_first = df.drop_duplicates(['VisitorID', 'EpochTime']).assign(**d)
df_final = (pd.concat([df, df_first], ignore_index=True)
.sort_values(['VisitorID', 'EpochTime', 'HitNumber'])
.reset_index(drop=True))
print(df_final)
VisitorID EpochTime HitTime HitNumber PagePath
0 1000 1521333510 0 0 Home
1 1000 1521333510 990 14 orders/details
2 1000 1521333510 4149 29 orders/payment
3 1000 1521333510 6450 54 orders/myorders
4 1000 1554888560 0 0 Home
5 1000 1554888560 1400 23 orders/details
6 1000 1554888560 5340 54 orders/payment
7 1000 1554888560 7034 55 orders/afterpayment
8 1000 1554888560 11034 65 orders/myorders
9 1000 1554888560 13059 110 customercare
Другая идея - изменить значения индекса в df_first путем вычитания и последней сортировки по индексу:
d = {'HitTime':0,'HitNumber':0,'PagePath':'Home'}
df_first = df.drop_duplicates(['VisitorID', 'EpochTime']).assign(**d)
df_first.index -= .5
df_final = pd.concat([df, df_first]).sort_index().reset_index(drop=True)
print(df_final)
VisitorID EpochTime HitTime HitNumber PagePath
0 1000 1554888560 0 0 Home
1 1000 1554888560 1400 23 orders/details
2 1000 1554888560 5340 54 orders/payment
3 1000 1554888560 7034 55 orders/afterpayment
4 1000 1554888560 11034 65 orders/myorders
5 1000 1554888560 13059 110 customercare
6 1000 1521333510 0 0 Home
7 1000 1521333510 990 14 orders/details
8 1000 1521333510 4149 29 orders/payment
9 1000 1521333510 6450 54 orders/myorders
@Erfan - проверьте это**d means "treat the key-value pairs in the dictionary as additional named arguments to this function call."
Спасибо, это работало примерно на 100 быстрее (5 секунд). Кстати, что сделало мой код таким медленным?
@Erfan - Цикл for x, y in df.groupby(['VisitorID', 'EpochTime']): lst.append(y.iloc[:1]), а затем df_first = pd.concat(lst, ignore_index=True)
Понимаю. А для **d мы могли бы также использовать map для этого?
@Erfan - Не уверен, что понял, можешь объяснить подробнее?
Я думал об использовании pandas.Series.map для сопоставления новых значений со столбцами, но я думаю, это не сработает, поскольку это проходит через фрейм данных.
Не могли бы вы объяснить, что делает
**dвassign()?