Научный набор TF-IDF - Не уверены в интерпретации массива TD-IDF?
У меня есть подмножество фрейма данных, например:
<OUT>
PageNumber Top_words_only
56 people sun flower festival
75 sunflower sun architecture red buses festival
Я хочу рассчитать TF-IDF в столбце English_tags df, где каждая строка действует как документ. Я пытался:
Vectorizer = TfidfVectorizer(lowercase = True, max_df = 0.8, min_df = 5, stop_words = 'english')
Vectors = Vectorizer.fit_transform(df['top_words_only'])
Если я распечатаю массив, он будет выглядеть так:
array([[0. , 0. , 0. , ..., 0. , 0.35588179,
0. ],
[0. , 0. , 0. , ..., 0. , 0. ,
0. ],
[0. , 0. , 0. , ..., 0. , 0. ,
0. ],
...,
[0. , 0. , 0. , ..., 0. , 0. ,
0. ],
[0. , 0. , 0. , ..., 0. , 0. ,
0. ],
[0. , 0. , 0. , ..., 0. , 0. ,
0. ]])
Но я немного смущен тем, что это значит - почему так много значений o? Выполняет ли реализация TfidfVectorizer() автоматический расчет значений TF-IDF для каждого тега с учетом всех документов (т. е. корпуса)?
Ответы 1
Вызов fit_transform вычисляет вектор для каждого предоставленного документа. Каждый вектор будет иметь одинаковый размер. Размер вектора — это количество уникальных слов в предоставленных документах. Количество нулевых значений в векторе будет размером вектора — количеством уникальных значений в документе.
Используя ваши top_words в качестве простого примера. Вы показываете 2 документа:
'people sun flower festival'
'sunflower sun architecture red buses festival'
Всего в них 8 уникальных слов (Vectorizer.get_feature_names_out() даст вам это):
'architecture', 'buses', 'festival', 'flower', 'people', 'red', 'sun', 'sunflower'
Вызов fit_transform с этими двумя документами даст 2 вектора (по 1 для каждого документа), каждый длиной 8 (количество уникальных слов в документах).
В первом документе 'people sun flower festival' 4 слова, поэтому вы получаете 4 значения в векторе и 4 нуля. Точно так же 'sunflower sun architecture red buses festival' дает 6 значений и 2 нуля.
Чем больше документов вы передаете с разными словами, тем длиннее становится вектор и тем больше вероятность появления нулей.
from sklearn.feature_extraction.text import TfidfVectorizer
top_words = ['people sun flower festival', 'sunflower sun architecture red buses festival']
Vectorizer = TfidfVectorizer()
Vectors = Vectorizer.fit_transform(top_words)
print(f'Feature names: {Vectorizer.get_feature_names_out().tolist()}')
tfidf = Vectors.toarray()
print('')
print(f'top_words[0] = {top_words[0]}')
print(f'tfidf[0] = {tfidf[0].tolist()}')
print('')
print(f'top_words[1] = {top_words[1]}')
print(f'tfidf[1] = {tfidf[1].tolist()}')
Приведенный выше код напечатает:
Feature names: ['architecture', 'buses', 'festival', 'flower', 'people', 'red', 'sun', 'sunflower']
top_words[0] = people sun flower festival
tfidf[0] = [0.0, 0.0, 0.40993714596036396, 0.5761523551647353, 0.5761523551647353, 0.0, 0.40993714596036396, 0.0]
top_words[1] = sunflower sun architecture red buses festival
tfidf[1] = [0.4466561618018052, 0.4466561618018052, 0.31779953783628945, 0.0, 0.0, 0.4466561618018052, 0.31779953783628945, 0.4466561618018052]