Рассчитать сложность модели word2vec

Я обучил модель Gensim W2V на 500К предложениях (около 60К) слов, и я хочу вычислить недоумение.

Как лучше всего это сделать?
для 60 000 слов, как я могу проверить, какой объем данных будет правильным?

Спасибо

python nlp gensim word2vec language-model

13.12.2018 16:54

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

1 113

Ответы 1

Если вы хотите вычислить недоумение, вам нужно сначала восстановить убыток. В конструкторе gensim.models.word2vec.Word2Vec передайте параметр compute_loss=True - таким образом, gensim сохранит для вас потерю во время тренировки. После обучения вы можете вызвать метод get_latest_training_loss(), чтобы получить потерю.

Поскольку потеря кросс-энтропии в модели скип-грамм, 2 в степени потерь вызовет затруднение. (2 ** убыток)

У меня выпадение 36672808.0 имеет смысл?

— 16.12.2018 12:52

Вы тренировались? Скажите, в чем заключается недоумение и сколько всего слов в вашем словарном запасе, будет легче определить, имеет ли это смысл

— 30.12.2018 11:38

13.12.2018 17:00