Токенизация английского текста на C#, а не на Python возможна?
В нашем программном обеспечении нам приходится анализировать обычный текстовый файл. Сначала нам следует разбить текст на абзацы, затем на предложения, затем на токены. Последние шаги (насколько я понимаю) — это stemming и lemmatization.
Если у нас есть такой текст: We are singing great songs about heroes Мне бы хотелось видеть токены как [we,be,sing,great,song,about,hero]. Чтобы добиться этого, насколько я понимаю, нам нужен какой-то метод, позволяющий каким-то образом найти токены в исходном тексте, но самая сложная часть — это его стемминг/лемматизация.
Я знаю, что существует проект Python NLTK или spaCy, который хорошо справляется с этими задачами, но для этого проекта нам нужно использовать C#. Я искал несколько часов, но не нашел доступных пакетов для этого. Не могу в это поверить, поэтому должен спросить - есть ли какие-нибудь библиотеки или для этого нужно как-то вызывать эти библиотеки из C#?
Ответы 1
По моему опыту, попытка заниматься НЛП вне Python — это огромная боль, но для этого есть несколько библиотек, например. https://github.com/curiosity-ai/catalyst, который, похоже, поддерживает лемматизацию.
Поскольку стемминг обычно представляет собой просто реализацию некоторого базового алгоритма, основанного на правилах, вы также можете либо адаптировать некоторый код из другого языка программирования, либо скопировать существующую прямую реализацию, например эту: https://github.com/nemec/porter2- стеммер