Как использовать apply() в DataFrame, используя пользовательскую функцию?
У меня есть следующий DataFrame Pandas:
import pandas as pd
from collections import Counter
print(sentences)
вывод (да, имя столбца 0):
0
0 A
1 B
2 C
3 D
4 EEE
... ...
462064467 FGH
462064468 QRS
462064469 EEE
462064470 VWXYZ
462064471 !!!
[462064472 rows x 1 columns]
У меня есть специальная функция, которая проверяет, имеет ли содержимое столбца 0 длину > 1 или нет (просто пример):
def is_more_than_one_character(t):
if len(t) > 1:
return True
else:
return False
И я применяю функцию следующим образом:
counter = Counter(sentences.apply(is_more_than_one_character))
Я хочу подсчитать появление каждой строки длиной > 1. Вот пример вывода print(counter):
[(EEE, 2), (FGH, 1), (QRS, 1), (!!!, 1)...]
но в настоящее время вывод:
[(False, 460686058), (True, 1378414)]
Что я пропустил? Я думаю, что я близок. Заранее спасибо.
Ответы 2
Вы можете создать маску для фильтрации всех строк длиной 1, а затем использовать value_counts, чтобы получить счетчики каждой оставшейся строки как -
mask = (sentences['0'].str.len() > 1))
sentences = sentences.loc[mask]
print(sentences['0'].value_counts())
Вы можете фильтровать с помощью str.len и логического индексирования , а затем перейти к value_counts:
out = sentences.loc[sentences[0].str.len()>1, 0].value_counts()
Или посчитать все, а затем отфильтровать ключи:
out = sentences[0].value_counts()
out = out[out.index.str.len()>1]
Выход:
0
EEE 2
FGH 1
QRS 1
VWXYZ 1
!!! 1
Name: count, dtype: int64
Если вам действительно нужно использовать свою функцию и оригинальный подход:
out = Counter(sentences.loc[sentences[0].apply(is_more_than_one_character), 0])
Или векторизация функции:
from numpy import vectorize
@vectorize
def is_more_than_one_character(t):
if len(t) > 1:
return True
else:
return False
s = sentences[0]
out = Counter(s[is_more_than_one_character(s)])
Или, на самом деле, поскольку вам все равно придется зацикливаться, лучше использовать чистый Python:
out = Counter(filter(is_more_than_one_character, sentences[0]))
Выход:
Counter({'EEE': 2, 'FGH': 1, 'QRS': 1, 'VWXYZ': 1, '!!!': 1})
@Raptor, если вы хотите использовать свою функцию: Counter(sentences.loc[sentences[0].apply(is_more_than_one_character), 0])
Вы также можете векторизовать функцию (см. обновление)
Или, если вам нужен Counter в качестве вывода, просто избегайте использования панд вообще и используйте чистый Python Counter(filter(is_more_than_one_character, sentences[0])).
спасибо за ваш ответ, но вместо этого я хотел бы использовать пользовательскую функцию (для возврата логического значения), поскольку фактическая функция - это нечто большее, чем просто подсчет длины значения.