Повторяющаяся ошибка HTTP 413 при очистке нескольких страниц

Возможно, вы натолкнулись на какое-то ограничение IP-адреса. При запуске скрипт у меня работает нормально без ограничения скорости (на данный момент). Тем не менее, я бы порекомендовал вам использовать requests.Session() (вам нужно изменить переменную requests, иначе она переопределит импорт). Это может помочь уменьшить возможные проблемы с утечкой памяти.

Так, например:

from bs4 import BeautifulSoup
from time import sleep
from time import time
from random import randint
import requests

posts = []
votes = []
dates = []
images = []
users = []

start_time = time()
request_count = 0
req_sess = requests.Session()

for page_num in range(1, 100):
    response = req_sess.get(f"https://www.wykop.pl/szukaj/wpisy/smog/strona/{page_num}/")

    # Pause the loop
    #sleep(randint(1,3))

    # Monitor the requests
    request_count += 1
    elapsed_time = time() - start_time
    print('Page {}; Request:{}; Frequency: {} requests/s'.format(page_num, request_count, request_count/elapsed_time))
    
    #clear_output(wait = True)
    # Throw a warning for non-200 status codes
    if response.status_code != 200:
        print('Request: {}; Status code: {}'.format(requests, response.status_code))
        print(response.headers)
    
    # Break the loop if the number of requests is greater than expected
    #if requests > 10:
    #    print('Number of requests was greater than expected.')
    #    break

    soup = BeautifulSoup(response.text, 'html.parser')
    results = soup.find_all('li', class_ = "entry iC")

    for result in results:
        # Error handling
        try:
            post = result.find('div', class_ = "text").text
            #post = translate(post,'en','auto')
            posts.append(post)

            date = result.time['title']
            dates.append(date)

            vote = result.p.b.span.text
            vote = int(vote)
            votes.append(vote)

            user = result.div.b.text
            users.append(user)

            image = result.find('img',class_='block lazy')
            images.append(image)

        except AttributeError as e:
            print(e)
            

Дал следующий вывод:

Page 1; Request:1; Frequency: 1.246137372973911 requests/s
Page 2; Request:2; Frequency: 1.3021880233774552 requests/s
Page 3; Request:3; Frequency: 1.2663757427416629 requests/s
Page 4; Request:4; Frequency: 1.1807827876080845 requests/s                
.
.
.
Page 96; Request:96; Frequency: 0.8888853607003809 requests/s
Page 97; Request:97; Frequency: 0.8891876183362001 requests/s
Page 98; Request:98; Frequency: 0.888801819672809 requests/s
Page 99; Request:99; Frequency: 0.8900784741536467 requests/s                

Это также отлично работало, когда я начинал с гораздо большего количества страниц. Теоретически, когда вы получаете код состояния ошибки 413, теперь он должен отображать заголовки ответа. Согласно RFC 7231, сервер должен возвращать поле заголовка Retry-After, которое вы можете использовать, чтобы определить, как долго ждать до вашего следующего запроса.

Итак, вот загвоздка:

Ошибка 413 связана не с Wykop, веб-сайтом, подлежащим очистке, а с пакетом mtranslate, который использует API Google Translate. В моем исходном коде произошло то, что когда Wykop был очищен, он затем перевел сообщения с польского на английский. Однако Google Translation API имеет ограничение примерно в 100 000 символов за 100 секунд на пользователя. Поэтому, когда код достиг 13-й страницы, mtranslate достиг лимита запросов для переводчик Google. Следовательно, решение Мартина отлично работает при очистке данных с отключенной функцией перевода.

Я пришел к такому выводу, когда использовал модуль для перевода сообщений, хранящихся в фрейме данных, так как я столкнулся с той же ошибкой примерно на отметке 8% моего цикла перевода.