Когда именно мы должны выполнять исправление орфографии в конвейере предварительной обработки текста?
Должен ли шаг по исправлению написания слов выполняться до нормализации лексикона (т. е. определения основы, лемматизации) или после? Если мы сделаем это после нормализации лексики, не будут ли слова уже сокращены до своей корневой формы, если мы выполним лемматизацию? (путем передачи POS, т.е. тега частей речи слова в качестве аргумента), так что не было бы никакой пользы для проверки орфографии после нормализации лексики, верно?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
1
1
594
1
Перейти к ответу
Данный вопрос помечен как решенный
Ответы 1
Ответ принят как подходящий
Вы должны исправить написание 1st. Лемматизация обучается на каком-то корпусе, но, поскольку я представил что-то, что не является частью этого, это может не сработать. см. ниже:
# import these modules
from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
print("changing :", lemmatizer.lemmatize("changing", pos = "v"))
print("change :", lemmatizer.lemmatize("change"))
print("changer :", lemmatizer.lemmatize("changer"))
# # a denotes adjective in "pos"
print("changing :", lemmatizer.lemmatize("changyng", pos = "v"))
changing : change #<----------
change : change
changer : changer
changing : changyng #<-------
посмотрите, я только что изменил написание change на changyng, и он не смог выполнить лемматизацию.
Другие вопросы по теме
Анализ данных токена из кадра данных Pandas
Количество измерений для каждого вектора слов в данной модели en равно 0
Transformers v4.x: преобразование медленного токенизатора в быстрый токенизатор
Несколько ngrams в матрице перехода, вероятность не добавляется к 1
Pytorch nn.TransformerEncoder «src_key_padding_mask» не работает должным образом
Возврат логического значения при нахождении «до» или «после» или любых синонимов
Как размер окна влияет на word2vec и как мы выбираем размер окна в соответствии с различными задачами?
Предварительная обработка корпуса для различных алгоритмов встраивания слов
Повторяющийся объект при замене объекта меткой объекта с использованием пробела
Получить антонимы для слова в java - Wordnet JWI
Похожие вопросы
Скругление углов изображения внутри KivyMD Card
Найти среднее значение нескольких изображений
Чистая приведенная стоимость — Numpy против Excel
Как выполнить итерацию, чтобы добавить уникальные значения в словарь (Python)
Как импортировать несколько файлов csv и объединить их в один DataFrame с помощью pandas
Как написать пакетный код Python для преобразования json в html?
Может ли кто-нибудь помочь мне с ошибкой при использовании функции nltk word_tokenize?
Сколько чисел имеют n в качестве наименьшего простого делителя в пределах 10 ^ 6?
Есть ли способ запустить команду, пока другая команда уже запущена в python-telegram-bot?
Выражение Tetgen -d неожиданный вывод
Лемматизация слов с ошибками будет не очень эффективной. IMO сначала нужно исправить орфографию, а затем лемматизировать.