Python - как проверить сходство между строками и распечатать только новые строки?

Я разработал веб-скребок с красивым супом, который собирает новости с веб-сайта, а затем отправляет их боту в Telegram. Каждый раз, когда программа запускается, она собирает все новости, находящиеся в данный момент на новостной веб-странице, и я хочу, чтобы она просто выбирала новые записи в новостях и отправляла только те.

Как я могу это сделать? Должен ли я использовать какой-то алгоритм сортировки?

Вот код:

#Lib requests

import requests
import bs4

fonte = requests.get('https://www.noticiasaominuto.com/')
soup = bs4.BeautifulSoup(fonte.text, 'lxml')
body = soup.body

for paragrafo in body.find_all('p', class_='article-thumb-text'):
      print(paragrafo.text)
      conteudo = paragrafo.text

id = requests.get('https://api.telegram.org/bot<TOKEN>/getUpdates')
chat_id = id.json()['result'][0]['message']['from']['id']

print(chat_id)

msg = requests.post('https://api.telegram.org/bot<TOKEN>/sendMessage', data = {'chat_id': chat_id ,'text' : conteudo})

Вам необходимо вести БД статей, которые вы уже разместили.

— 17.05.2018 19:41

python string sorting web-scraping beautifulsoup

17.05.2018 19:39

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

Ответы 1

Вам необходимо отслеживать статьи, которые вы видели раньше, либо используя полное решение для базы данных, либо просто сохраняя информацию в файле. Перед запуском файл необходимо прочитать. Затем веб-сайт просматривается и сравнивается с существующим списком. Все статьи, которых нет в списке, добавляются в список. В конце обновленный список сохраняется обратно в файл.

Вместо того, чтобы хранить весь текст в файле, вместо этого можно сохранить хэш текста. т.е. преобразовать текст в уникальный номер, в этом случае используется шестнадцатеричный дайджест, чтобы упростить сохранение в текстовый файл. Поскольку каждый хэш будет уникальным, они могут быть сохранены в наборе Python для ускорения проверки:

import hashlib
import requests
import bs4
import os

# Read in hashes of past articles
db = 'past.txt'

if os.path.exists(db):
    with open(db) as f_past:
        past_articles = set(f_past.read().splitlines())
else:
    past_articles = set()

fonte = requests.get('https://www.noticiasaominuto.com/')
soup = bs4.BeautifulSoup(fonte.text, 'lxml')

for paragrafo in soup.body.find_all('p', class_='article-thumb-text'):
    m = hashlib.md5(paragrafo.text.encode('utf-8'))

    if m.hexdigest() not in past_articles:
        print('New {} - {}'.format(m.hexdigest(), paragrafo.text))
        past_articles.add(m.hexdigest())

        # ...Update telegram here...

# Write updated hashes back to the file
with open(db, 'w') as f_past:
    f_past.write('\n'.join(past_articles))

При первом запуске будут отображаться все статьи. В следующий раз статьи не будут отображаться, пока сайт не обновится.

18.05.2018 13:27