Захват ошибок HTTP с помощью scrapy

Я пытаюсь очистить веб-сайт на предмет неработающих ссылок, пока у меня есть этот код, который успешно выполняет вход в систему и сканирует сайт, но он записывает только коды состояния HTTP 200:

class HttpStatusSpider(scrapy.Spider):
    name = 'httpstatus'
    handle_httpstatus_all = True

    link_extractor = LinkExtractor()

    def start_requests(self):
        """This method ensures we login before we begin spidering"""
        # Little bit of magic to handle the CSRF protection on the login form
        resp = requests.get('http://localhost:8000/login/')
        tree = html.fromstring(resp.content)
        csrf_token = tree.cssselect('input[name=csrfmiddlewaretoken]')[0].value

        return [FormRequest('http://localhost:8000/login/', callback=self.parse,
                            formdata = {'username': 'mischa_cs',
                                      'password': 'letmein',
                                      'csrfmiddlewaretoken': csrf_token},
                            cookies = {'csrftoken': resp.cookies['csrftoken']})]

    def parse(self, response):
        item = HttpResponseItem()
        item['url'] = response.url
        item['status'] = response.status
        item['referer'] = response.request.headers.get('Referer', '')
        yield item

        for link in self.link_extractor.extract_links(response):
            r = Request(link.url, self.parse)
            r.meta.update(link_text=link.text)
            yield r

документы и этиответы наводят меня на мысль, что handle_httpstatus_all = True должен вызывать scrapy для передачи ошибочных запросов моему методу parse, но пока мне не удалось их захватить.

Я также экспериментировал с handle_httpstatus_list и пользовательским обработчиком errback в другой итерации кода.

Что мне нужно изменить, чтобы фиксировать коды ошибок HTTP, с которыми сталкивается scrapy?