Python Scrapy — scrapy.Request не работает

Мой парсер просматривает 0 страниц, и я думаю, что проблема заключается в последней строке кода в методе разбора:

def parse(self, response):
        all_companies = response.xpath('//header[@class = "card-header"]')

        for company in all_companies:
            company_url = company.xpath('./a[@class = "card-header-scorecard"]/@href').extract_first()
            yield scrapy.Request(url=company_url, callback = self.parse_company)

Я протестировал получение company_url с помощью оболочки записок, и все они возвращаются правильно. Парсер получает доступ к каждому из этих URL-адресов и очищает элементы, используя метод parse_company.

До использования yield я использовал функцию Rule, и она отлично работала вместе с parse_company, поэтому я знаю, что этот метод работает, однако мне пришлось изменить свой подход по необходимости.

rules = (
    Rule(LinkExtractor(restrict_css = ".card-header > a"), callback = "parse_company")
)