Как использовать свист, чтобы получить частоту термина во всех коллекциях?

def scorer(self, searcher, fieldname, text, qf=1):
    """Returns an instance of :class:`whoosh.scoring.Scorer` configured
    for the given searcher, fieldname, and term text.
    """

    raise NotImplementedError(self.__class__.__name__)

я не знаю аргументов в функции счетчика. Откуда они берутся? и то же самое с функцией в этом предложении. Если я хочу получить частоту термина во всех коллекциях, а не вес в текущем документе. Как я могу это сделать?

def _score(self, weight, length):
    # Override this method with the actual scoring function
    raise NotImplementedError(self.__class__.__name__)

python nlp whoosh

27.10.2018 16:41

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

551

Ответы 1

Думаю, вам нужно использовать whoosh.reading.TermInfo. информацию о глобальных терминах можно найти здесь. Он обновляется при индексации нового документа.

Как вы сказали, хотите получить частоту терминов во всех коллекциях, TermInfo().weight() Думаю, подойдет. пример кода вроде этого:

from whoosh.fields import Schema, TEXT
from whoosh.analysis import StemmingAnalyzer
from whoosh.filedb.filestore import FileStorage
from whoosh import scoring

schema = Schema(body=Text(analyzer=StemAnalyzer(), stored=True))

storage = FileStorage("index")
ix = storage.open_index()

def user_weighting_func(searcher, filename, text, matcher):
    return float(searcher.term_info('body', text))

with ix.searcher(weighting=scoring.FunctionWeighting(user_weighting_func)) as searcher:
    qp = QueryParser("body", schema=schema)
    q = qp.parse("hello")
    result = searcher.search(q)
    for hit in results:
        print(hit.score, hit['body'])

В этом коде hit.score будет глобальной частотой термина.

19.12.2018 02:46

Другие вопросы по теме

Проблема размерности в многоуровневой классификации Кераса с вложениями слов

Понимание того, почему два вектора TF-IDF похожи

Какие шаги предварительной обработки необходимо предпринять перед передачей текста в Stanford NER tagger?

Расчет минимального расстояния редактирования для неравных строк python

Ресурс reuters не найден

Быстрое обновление NER

RASA, как использовать японский язык (Tokennization-Mecab)

Выделение больших фрагментов текста

Есть ли текстовый редактор, плагин редактора или алгоритм НЛП, который может деконкатенировать строку слов без пробелов между ними?

Найдите несколько регулярных выражений в нескольких файлах, а затем выведите каждое совпадение и соответствующий ему файл

Как использовать свист, чтобы получить частоту термина во всех коллекциях?

Ответы 1

Другие вопросы по теме

Похожие вопросы