В чем разница между skip-gram word2vec и cbow w2v при обучении с библиотекой gensim?

Для Skip-граммы word2vec обучающие образцы получаются следующим образом:

Sentence: The fox was running across the maple forest

Слово fox дает следующие пары для тренировки:

fox-run, fox-across, fox-maple, fox-forest

и т.д. за каждое слово. CBOW w2v использует обратный подход:

run-fox, across-fox, maple-fox, forest-fox

или для слова forest:

fox-forest, run-forest, across-forest, maple-forest

Итак, мы получаем все пары. В чем разница между Skip-gram word2vec и CBOW w2v при обучении с библиотекой gensim, если мы не указываем целевое слово при обучении в CBOW-режиме? В обоих случаях используются все пары слов или нет?

2
0
1 630
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Только скип-грамма использует обучающие пары вида (context_word)->(target_word).

В CBOW обучающими примерами являются (average_of_multiple_context_words)->(target_word). Таким образом, когда ошибка из одного обучающего примера передается в обратном направлении, несколько контекстных слов получают одно и то же корректирующее подталкивание.

Спасибо! Вы можете объяснить, что такое average_of_multiple_context_words и как он работает?

r1d1 11.09.2018 04:55

Я нашел объяснение average_of_multiple_context_words здесь analyticsvidhya.com/blog/2017/06/…, спасибо

r1d1 11.09.2018 14:10

Другие вопросы по теме