Удаление стоп-слов из списка списков
Я хотел бы знать, как я могу удалить определенные слова, включая стоп-слова, из списка, подобного этому:
my_list=[[],
[],
['A'],
['SB'],
[],
['NMR'],
[],
['ISSN'],
[],
[],
[],
['OF', 'USA'],
[],
['THE'],
['HOME'],
[],
[],
['STAR'],
[]]
Если бы это был список строк, я бы применил что-то вроде следующего:
from collections import Counter
stop_words = stopwords.words('english')
text = ' '.join([word for word in my_list if word not in stop_words])
Мне нужно было бы построить его в конце, сделав что-то вроде этого:
counts= Counter(chain.from_iterable(my_list))
plt.bar(*zip(*counts.most_common(20)))
plt.show()
Ожидаемый список для построения:
my_list=[[],
[],
['SB'],
[],
['NMR'],
[],
['ISSN'],
[],
[],
[],
['USA'],
[],
['HOME'],
[],
[],
['STAR'],
[]]
Я удалил счетчик из списка. Сейчас, наверное, должно быть лучше. Я добавил пример вывода (для списка), который я хотел бы иметь, чтобы построить его
Ответы 1
Прокрутите my_words, заменив каждый вложенный список списком с удаленными стоп-словами. Вы можете использовать набор различий, чтобы удалить слова.
stop_words = stopwords.words('english')
my_list = [list(set(sublist).difference(stop_words)) for sublist in my_list]
Немного сложнее выполнять сравнения без учета регистра, так как вы не можете использовать встроенный метод разности наборов.
my_list = [[word for word in sublist if word.lower() not in stop_words] for sublist in my_list]
Спасибо Бармар. Я пробовал это, но в my_list все еще есть стоп-слова, такие как, of, поэтому, когда я рисую, я все еще вижу их.
Вероятно, это связано с тем, что стоп-слова написаны строчными буквами, а ваш список содержит слова в верхнем регистре.
Можете ли вы изменить my_list, чтобы все строчные буквы? Если нет, я показал, как сделать сравнение после преобразования регистра.
это имеет смысл. Спасибо, Бармар!
Итак, каков ожидаемый результат? А какое отношение Счетчик имеет к удалению слов?