Сравнение стеммирования и лемматизации
Основываясь на нескольких исследованиях, я нашел следующий важный сравнительный анализ:
если мы посмотрим на тексты, скорее всего, лемматизация должна дать более правильный результат, верно? не только правильная, но и сокращенная версия, я провел эксперимент в этой строке:
sentence = "having playing in today gaming ended with greating victorious"
но когда я запустил код как для лемматизатора, так и для стеммизации, я получил следующий результат:
['have', 'play', 'in', 'today', 'game', 'end', 'with', 'great', 'victori'] ['having', 'playing', 'in', 'today', 'gaming', 'ended', 'with', 'greating', 'victorious']
первый - это стемминг, и все выглядит нормально, кроме victori (это должна быть победа, верно), а второй - лемматизация (все они верны, но в исходной форме), поэтому в данном случае какой вариант хорош? короткая версия и в основном неправильная или длинная версия и правильная?
import nltk
from nltk.tokenize import word_tokenize,sent_tokenize
from nltk.corpus import stopwords
from sklearn.feature_extraction.text import CountVectorizer
from nltk.stem import PorterStemmer,WordNetLemmatizer
mylematizer =WordNetLemmatizer()
mystemmer =PorterStemmer()
nltk.download('stopwords')
sentence = "having playing in today gaming ended with greating victorious"
words =word_tokenize(sentence)
# print(words)
stemmed =[mystemmer.stem(w) for w in words]
lematized=[mylematizer.lemmatize(w) for w in words ]
print(stemmed)
print(lematized)
# mycounter =CountVectorizer()
# mysentence = "i love ibsu. because ibsu is great university"
# # print(word_tokenize(mysentence))
# # print(sent_tokenize(mysentence))
# individual_words=word_tokenize(mysentence)
# stops =list(stopwords.words('english'))
# words =[w for w in individual_words if w not in stops and w.isalnum() ]
# reduced =[mystemmer.stem(w) for w in words]
# new_sentence =' '.join(words)
# frequencies =mycounter.fit_transform([new_sentence])
# print(frequencies.toarray())
# print(mycounter.vocabulary_)
# print(mycounter.get_feature_names_out())
# print(new_sentence)
# print(words)
# # print(list(stopwords.words('english')))
Ответы 1
Вот пример того, какие части речи лемматизатор использует для слов в вашей строке:
import nltk
nltk.download('wordnet')
from nltk.corpus import wordnet
from nltk.stem.wordnet import WordNetLemmatizer
from nltk import word_tokenize, pos_tag
from collections import defaultdict
tag_map = defaultdict(lambda : wordnet.NOUN)
tag_map['J'] = wordnet.ADJ
tag_map['V'] = wordnet.VERB
tag_map['R'] = wordnet.ADV
sentence = "having playing in today gaming ended with greating victorious"
tokens = word_tokenize(sentence)
wnl = WordNetLemmatizer()
for token, tag in pos_tag(tokens):
print('found tag', tag[0])
lemma = wnl.lemmatize(token, tag_map[tag[0]])
print(token, "lemmatized to", lemma)
Выход:
found tag V
having lemmatized to have
found tag N
playing lemmatized to playing
found tag I
in lemmatized to in
found tag N
today lemmatized to today
found tag N
gaming lemmatized to gaming
found tag V
ended lemmatized to end
found tag I
with lemmatized to with
found tag V
greating lemmatized to greating
found tag J
victorious lemmatized to victorious
Лемматизация приводит слова к их основной форме. Это похоже на стемминг, но привносит контекст в слова, таким образом связывая слова со схожим значением в одно слово. Причудливое лингвистическое слово – «морфология». Так как же слова соотносятся друг с другом в данном языке? Если вы посмотрите на вывод выше, глаголы ing анализируются как существительные. Глаголы ing, хотя глаголы также могут использоваться как существительные: Я люблю плавать. Глагол – любовь, существительное – плавание. Именно так теги интерпретируются выше. И если честно, то Ваше предложение выше вообще не приговор. Я бы не сказал, что одно лучше другого, но считаю, что лемматизация более эффективна, когда части речи используются правильно в предложении, которое имеет либо независимое предложение, либо зависимое вместе с независимыми предложениями.