Как обрабатывать ошибку атрибута: объект «NoneType» не имеет атрибута «findAll»

При сканировании множества веб-сайтов с помощью приведенной ниже функции я получил сообщение об ошибке (см. ниже). Могу ли я добавить какой-либо шаг except к функции ниже для обработки такой ошибки?

async def scrape(url):
    try:
        r = requests.get(url, timeout=(3, 6))
        r.raise_for_status()
        soup = BeautifulSoup(r.content, 'html.parser')
        data = {
"coming soon": soup.body.findAll(text = re.compile("coming soon", re.I)),
"Opening Soon": soup.body.findAll(text = re.compile("Opening Soon", re.I)),
"Under Construction": soup.body.findAll(text = re.compile("Under Construction", re.I)),
"Currently Unavailable": soup.body.findAll(text = re.compile("Currently Unavailable", re.I)),
"button": soup.findAll(text = re.compile('button2.js'))}
        results[url] = data
    except (requests.exceptions.ConnectionError, requests.exceptions.Timeout, requests.exceptions.MissingSchema):
        status[url] = "Connection Error"
    except (requests.exceptions.HTTPError):
        status[url] = "Http Error"
    except (requests.exceptions.TooManyRedirects):
        status[url] = "Redirects"
    except (requests.exceptions.RequestException) as err:
        status[url] = "Fatal Error: " + err + url
    else:
        status[url] = "OK"

Ошибка:

Task exception was never retrieved
future: <Task finished name='Task-4782' coro=<scrape() done, defined at crawler.py:47>  exception=AttributeError("'NoneType' object has no attribute 'findAll'")>
Traceback (most recent call last):
  File "crawler.py", line 53, in scrape
    "coming soon": soup.body.findAll(text = re.compile("coming soon", re.I)),
AttributeError: 'NoneType' object has no attribute 'findAll'

python web-scraping beautifulsoup web-crawler

11.12.2020 22:51

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

205

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Это произошло потому, что soup.body было None, мы можем справиться с этим случаем просто с условием if.

async def scrape(url):
        try:
            r = requests.get(url, timeout=(3, 6))
            r.raise_for_status()
            soup = BeautifulSoup(r.content, 'html.parser')
            if soup.body:
               data = {
               "coming soon": soup.body.findAll(text = re.compile("coming soon", re.I)),
               "Opening Soon": soup.body.findAll(text = re.compile("Opening Soon", re.I)),
               "Under Construction": soup.body.findAll(text = re.compile("Under Construction", re.I)),
               "Currently Unavailable": soup.body.findAll(text = re.compile("Currently Unavailable", re.I)),
               "button": soup.findAll(text = re.compile('button2.js'))}
               results[url] = data
        except (requests.exceptions.ConnectionError, requests.exceptions.Timeout, requests.exceptions.MissingSchema):
            status[url] = "Connection Error"
        except (requests.exceptions.HTTPError):
            status[url] = "Http Error"
        except (requests.exceptions.TooManyRedirects):
            status[url] = "Redirects"
        except (requests.exceptions.RequestException) as err:
            status[url] = "Fatal Error: " + err + url
        else:
            status[url] = "OK"

11.12.2020 22:57

Другие вопросы по теме

R веб-скрейпинг, не знаю, что делать дальше

Получить текст от второго дочернего элемента в DIV, используя scrapy, python

Как поставить пробел между всеми данными, полученными из цикла FOR?

BS4 Web-Scraping, мое понимание списка возвращает только один результат

Соскребание данных JSON с интерактивной диаграммы — дополнительная ошибка данных `json.load()`

Как сделать обещание дождаться завершения всех объектов, а затем нажать на массив?

Как получить широту и долготу из адреса, очищающего карты Google?

Как заменить символы цен на акции в фрейме данных

Скрапинг soundcloud.com с пакетом rvest в R

Как обнаружить повторяющееся значение в списке URL-адресов и остановить итерацию?

Как обрабатывать ошибку атрибута: объект «NoneType» не имеет атрибута «findAll»

Ответы 1

Другие вопросы по теме

Похожие вопросы