Используйте BERT для извлечения признаков уникального слова
Я использую BERT для извлечения признаков слова с учетом текста, в котором оно появляется, но кажется, что текущая реализация в официальном github bert (https://github.com/google-research/берт) может вычислять только признаки всех слов в тексте, что требует слишком много ресурсов. Можно ли его приспособить для этих целей? Спасибо!!
Ответы 1
BERT не является контекстно-свободным преобразователем, а это означает, что вы не хотите использовать его для одного слова, как вы использовали бы word2vec. Дело в том, что вы хотите контекстуализировать свой вклад. Я имею в виду, что вы можете ввести предложение из одного слова, но тогда почему бы просто не использовать word2vec.
Вот что написано в README:
Pre-trained representations can also either be context-free or contextual, and contextual representations can further be unidirectional or bidirectional. Context-free models such as word2vec or GloVe generate a single "word embedding" representation for each word in the vocabulary, so bank would have the same representation in bank deposit and river bank. Contextual models instead generate a representation of each word that is based on the other words in the sentence.
Надеюсь, это имеет смысл :-)
Может быть, я не ясно выразился в своем вопросе. Я хочу получить характеристики одного слова с учетом слова и его контекста. Например, в предложении «Я пошел в банк, чтобы снять деньги» я хочу ввести все предложение в BERT, но я хочу получить только характеристики «банка», а не другие слова.