Создание системы полнотекстового поиска: с чего начать

Я нашел эти две книги очень полезными, когда использовал для создания полнотекстовых поисковых систем.

Поиск информации

Управление гигабайтами

Как всегда старт в википедия. Первым началом обычно является построение перевернутого индекса.

См. Также вопрос, который я задал: Практическое руководство: ранжирование результатов поиска.

Конечно, есть и другие подходы, но сейчас я использую именно этот.

Сначала создайте свой index. Пройдите ввод, разбейте на слова
Для каждого слова проверьте, есть ли оно уже в указателе, если оно добавлено в список указателей, если нет, добавьте слово и номер записи.
Чтобы найти слово, перейдите по (возможно, отсортированному) индексу и верните все номера записей для этого слова. Очень удобно сделать это для списка с изменяемым размером, используя встроенные типы хранения Python.

В качестве дополнительного уточнения вы хотите сохранить только базовую часть слова, например, «найти» вместо «найти» - ищите алгоритмы выделения корней.

Честно говоря, люди умнее меня догадались. Я загружал приложение solr и выполнял json-вызовы из моего приложения appengine и позволял solr позаботиться об индексировании.

Вот оригинальная идея:

Не надо построить индекс. Серьезно.

Некоторое время назад я столкнулся с подобной проблемой. Мне нужен был быстрый метод поиска в мегабайтах и ​​мегабайтах текста из документации. Мне нужно было сопоставить не только слова, но и близость слов в больших документах (это слово около это слово). Я просто закончил писать это на C, и скорость этого меня удивила. Он был достаточно быстрым и не нуждался в оптимизации или индексировании.

Со скоростью современных компьютеров, если вы пишете код, который работает прямо на металле (скомпилированный код), вам часто не нужен алгоритм типа журнала заказов (n), чтобы получить необходимую производительность.

Прочтите серия сообщений по теме Тима Брея.

• Background
• Usage of search engines
• Basics
• Precision and recall
• Search engne intelligence
• Tricky search terms
• Stopwords
• Metadata
• Internationalization
• Ranking results
• XML
• Robots
• Requirements list

Сам бы я не строил, если можно.

App Engine включает в себя основы механизма полнотекстового поиска, и есть отличный пост в блоге здесь, в котором описано, как его использовать.

Существует также запрос функции в системе отслеживания ошибок, который, кажется, привлекает к себе некоторое внимание в последнее время, так что вы можете подождать, если сможете, пока это не будет реализовано.

Я только что нашел эту статью на этих выходных: http://www.perl.com/pub/a/2003/02/19/engine.html

Выглядит не слишком сложно, чтобы сделать простой (хотя для решения корпоративного типа потребуется серьезная оптимизация). Я планирую попробовать проверить концепцию с некоторыми данными из Project Gutenberg.

Если вы просто ищете что-то, что можно изучить и чему научиться, я думаю, это хорошее начало.

Lucene или Автономия! Это не стандартные решения для вас. Вам придется писать обертки поверх их интерфейсов. Они определенно позаботятся об основах, грамматике, реляционных операторах и т. д.

Книга Введение в поиск информации дает хорошее введение в эту область.

Версия мертвого дерева опубликована Cambridge University Press, но вы также можете найти бесплатную онлайн-версию (в HTML и PDF) по ссылке выше.

Загляните в книгу «Управление гигабайтами», в которой рассказывается о хранении и извлечении огромных объемов текстовых данных, например. как сжатие, так и фактический поиск, а также множество алгоритмов, которые можно использовать для каждого из них.

Кроме того, для поиска в виде обычного текста вам лучше использовать систему поиска на основе векторов, а не систему индексации ключевых слов-> документов, поскольку системы на основе векторов могут быть намного быстрее и, что более важно, могут относительно легко обеспечить ранжирование по релевантности.

Попробуй это: Скажем, таблица переменных - это ваш список поисковых записей.

query = input("Query: ").strip().lower()#Or raw_input, for python 2
end = []
for item in table:
    if query in item.strip().lower():
        end.append(item)

print end #Narrowed results

Он просто перебирает все элементы, чтобы увидеть, находится ли запрос в каком-либо из них. Он работает для простой функции поиска в приложении. Хотя, возможно, не для всего Интернета.