Не удалось найти слово, которое я добавил в словарь токенизатора Huggingface Bert
Я попытался добавить новые слова в Bert tokenizer vocab. Я вижу, что длина словаря увеличивается, однако я не могу найти новое добавленное слово в словаре.
tokenizer.add_tokens(['covid', 'wuhan'])
v = tokenizer.get_vocab()
print(len(v))
'covid' in tokenizer.vocab
Выход:
30524
False
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
2
0
1 609
1
Перейти к ответу
Данный вопрос помечен как решенный
Ответы 1
Ответ принят как подходящий
Вы называете две разные вещи с помощью tokenizer.vocab и tokenizer.get_vocab(). Первый содержит базовый словарь без добавленных токенов, а другой содержит базовый словарь с добавленными токенами.
from transformers import BertTokenizer
t = BertTokenizer.from_pretrained('bert-base-uncased')
print(len(t.vocab))
print(len(t.get_vocab()))
print(t.get_added_vocab())
t.add_tokens(['covid'])
print(len(t.vocab))
print(len(t.get_vocab()))
print(t.get_added_vocab())
Выход:
30522
30522
{}
30522
30523
{'covid': 30522}
@JagadishVishwanatham Вы можете просмотреть все добавленные токены, как показано в моем ответе, с помощью t.get_added_vocab() или t.convert_ids_to_tokens(30522). за один токен.
—
25.12.2020 07:16
Другие вопросы по теме
Transformers v4.x: преобразование медленного токенизатора в быстрый токенизатор
Разбор вывода преобразователя обнимающего лица
Переводчики Huggingface MarianMT теряют контент в зависимости от модели
Как мне интерпретировать мои выходные данные BERT от Huggingface Transformers для классификации последовательностей и тензорного потока?
BERT DataLoader: разница между shuffle=True и Sampler?
Невозможно импортировать трансформеры Hugging Face
Я хочу использовать «grouped_entities» в конвейере Huggingface для задачи ner, как это сделать?
Рассчитать две потери в модели и дважды выполнить обратное распространение
Как использовать мой собственный корпус в модели встраивания слов BERT
Как добавить мультиклассовый слой с несколькими метками поверх предварительно обученной модели BERT?
Похожие вопросы
Как мне интерпретировать мои выходные данные BERT от Huggingface Transformers для классификации последовательностей и тензорного потока?
BERT DataLoader: разница между shuffle=True и Sampler?
Строки в текстовом файле не будут повторяться для цикла Python
Max_length не исправляет модель ответов на вопросы
Multi Head Внимание: правильное выполнение линейных преобразований Q, K, V
Рассчитать две потери в модели и дважды выполнить обратное распространение
Как использовать мой собственный корпус в модели встраивания слов BERT
Как добавить мультиклассовый слой с несколькими метками поверх предварительно обученной модели BERT?
Как аргументы max_length, padding и truncation работают в HuggingFace' BertTokenizerFast.from_pretrained('bert-base-uncased')?
Приведение результатов моделирования темы к кадру данных
спасибо за ответ. Но я вижу, что размер токенизатора увеличился, но когда я делаю tokenizer.ids_to_tokens[30522] после добавления токена, я получаю KeyError: 30522 . Что я могу делать неправильно здесь. Как увидеть добавленный токен?