Сопоставить записи RSS с телом HTML w. неточный поиск

Как бы вы решили эту проблему?

Вы очищаете HTML блогов. Часть HTML-кода блога - это сообщения блога, часть - форматирование, боковые панели и т. д. Вы хотите иметь возможность определять, какой текст в HTML принадлежит какому сообщению (т.е. постоянная ссылка), если таковая имеется.

Я знаю, о чем вы думаете: вы можете просто посмотреть RSS и полностью игнорировать HTML! Однако RSS очень часто содержит только очень короткие отрывки или удаляет ссылки, которые могут вас заинтересовать. Вы хотите существенно сократить отрывок RSS, используя вместе HTML и RSS одной и той же страницы.

Запись RSS выглядит так:

title
excerpt of post body
permalink

Сообщение в блоге в HTML выглядит так:

title (surrounded by permalink, maybe)
...
permalink, maybe
...
post body
...
permalink, maybe

Таким образом, HTML-страница содержит те же поля, но размещение постоянной ссылки заранее не известно, и поля будут разделены некоторым шумовым текстом, который в основном состоит из HTML и пробелов, но также может содержать некоторые дополнительные метаданные, такие как «опубликовано Джонни. "или дату, или что-то в этом роде. Текст также может быть представлен немного иначе в HTML и RSS, как описано ниже.

Дополнительные правила / предостережения:

• Названия не могут быть уникальными. Это случается чаще, чем вы думаете. Примеры, которые я видел: «Сводка новостей по понедельникам», «TGIF» и т. д.
• Заголовки можно даже оставить пустыми.
• Выдержки в RSS также необязательны, но предполагаем, что должен быть хотя бы непустой отрывок или непустой заголовок.
• Выдержка RSS может содержать полное содержание сообщения, но, скорее всего, содержит короткую выдержку из начала тела сообщения.
• Предположим, что постоянные ссылки должны быть уникальными и должны быть одинаковыми как в HTML, так и в RSS.
• Заголовок, отрывок и тело сообщения могут быть немного по-разному отформатированы в RSS и в HTML. Например:
  • RSS может содержать HTML-код внутри заголовка или тела сообщения, или на HTML-страницу можно добавить больше HTML (например, окружить первую букву тела сообщения чем-то) или может быть отформатирован немного иначе
  • Текст может быть закодирован несколько иначе, например, в формате utf8 в RSS, в то время как символы, отличные от ascii, в HTML всегда кодируются с использованием кодировки амперсанда. Однако предположим, что это английский текст, в котором символы, отличные от ascii, встречаются редко.
  • Там могла быть ужасно плохо закодированная Windows-1252. Это часто случается с символами, такими как фигурные кавычки. Однако можно с уверенностью предположить, что большая часть текста - это ascii.
  • Может быть сворачивание корпуса в любом направлении, особенно в названии. Таким образом, они могли использовать все заглавные буквы для заголовка на HTML-странице, но не в RSS.
• Предполагается, что количество записей в RSS-канале и HTML-странице не одинаковое. Либо может иметь больше или меньше старых записей. Мы можем ожидать только те сообщения, которые появляются в обоих.
• RSS может отставать. На HTML-странице может быть новая запись, которая еще не отображается в RSS-канале. Это может произойти, если RSS-канал распространяется через Feedburner. Опять же, мы можем ожидать разрешения только тех сообщений, которые появляются как в RSS, так и в HTML.
• Тело сообщения может быть очень коротким или очень длинным.

100% точность - это ограничение нет. Однако чем точнее, тем лучше.

Что бы ты сделал?