Рассмотрим следующий фрейм данных:
column_of_lists scalar_col
0 [100, 200, 300] 100
1 [100, 200, 200] 200
2 [300, 500] 300
3 [100, 100] 200
Желаемым результатом будет серия, представляющая, сколько раз скалярное значение scalar_col
появляется внутри столбца списка.
Итак, в нашем случае:
1 # 100 appears once in its respective list
2 # 200 appears twice in its respective list
1 # ...
0
Я пробовал что-то вроде:
df['column_of_lists'].apply(lambda x: x.count(df['scalar_col'])
и я понимаю, что это не сработает, потому что я прошу подсчитать серию вместо одного значения.
Любая помощь приветствуется!
Используйте понимание списка:
df['new'] = [x.count(y) for x,y in zip(df['column_of_lists'], df['scalar_col'])]
print (df)
column_of_lists scalar_col new
0 [100, 200, 300] 100 1
1 [100, 200, 200] 200 2
2 [300, 500] 300 1
3 [100, 100] 200 0
Если производительность не важна, используйте DataFrame.apply с axis=1
:
df["new"] = df.apply(lambda x: x["column_of_lists"].count(x["scalar_col"]), axis=1)
#40k rows
df = pd.concat([df] * 10000, ignore_index=True)
In [145]: %timeit df["new1"] = df.apply(lambda x: x["column_of_lists"].count(x["scalar_col"]), axis=1)
572 ms ± 99.9 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
In [146]: %timeit df['new2'] = [x.count(y) for x,y in zip(df['column_of_lists'], df['scalar_col'])]
22.7 ms ± 840 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
In [147]: %%timeit
...: x = df.explode('column_of_lists')
...: df['counts'] = x.column_of_lists.eq(x.scalar_col).groupby(x.index).sum()
...:
61.2 ms ± 306 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
@The6thSense - добавлены тайминги
Вы используете count и apply.
Код:
import pandas as pd
in_df = pd.DataFrame({"column_of_lists": [[100, 200, 300] ,
[100, 200, 200],
[300, 500], [100, 100]],
"scalar_col": [100, 200, 300, 200]})
in_df["Match_Count"] = in_df.apply(lambda x:x["column_of_lists"].count(x["scalar_col"]), axis=1)
Выход:
column_of_lists scalar_col Match_Count
0 [100, 200, 300] 100 1
1 [100, 200, 200] 200 2
2 [300, 500] 300 1
3 [100, 100] 200 0
Векторизованный подход для больших списков будет использовать DataFrame.explode , а затем GroupBy.sum
x = df.explode('column_of_lists')
df['counts'] = x.column_of_lists.eq(x.scalar_col).groupby(x.index).sum()
Выход
column_of_lists scalar_col counts
0 [100, 200, 300] 100 1
1 [100, 200, 200] 200 2
2 [300, 500] 300 1
3 [100, 100] 200 0
Я думал, что применить было быстрее, чем создание понимания списка.