Scrapy Сканирует только первые 5 страниц сайта

Я работаю над решением следующей проблемы. Мой начальник хочет, чтобы я создал CrawlSpider в Scrapy, чтобы очистить детали статьи, такие как title, description, и разбить на страницы только первые 5 страниц.

Я создал CrawlSpider, но он разбивается на страницы со всех страниц. Как я могу ограничить CrawlSpider разбиением на страницы только первых последних 5 страниц?

Разметка страницы со списком статей сайта, которая открывается, когда мы нажимаем на следующую ссылку разбивки на страницы:

Разметка страницы со списком:

    <div class = "list">
      <div class = "snippet-content">
        <h2>
          <a href = "https://example.com/article-1">Article 1</a>
        </h2>
      </div>
      <div class = "snippet-content">
        <h2>
          <a href = "https://example.com/article-2">Article 2</a>
        </h2>
      </div>
      <div class = "snippet-content">
        <h2>
          <a href = "https://example.com/article-3">Article 3</a>
        </h2>
      </div>
      <div class = "snippet-content">
        <h2>
          <a href = "https://example.com/article-4">Article 4</a>
        </h2>
      </div>
    </div>
    <ul class = "pagination">
      <li class = "next">
        <a href = "https://www.example.com?page=2&keywords=&from=&topic=&year=&type = "> Next </a>
      </li>
    </ul>

Для этого я использую объект Rule с аргументом restrict_xpaths, чтобы получить все ссылки на статьи, а для последующего выполнения я выполняю метод класса parse_item, который будет получать статьи title и description из тегов meta.

Rule(LinkExtractor(restrict_xpaths='//div[contains(@class, "snippet-content")]/h2/a'), callback = "parse_item",
             follow=True)

Разметка страницы сведений:

<meta property = "og:title" content = "Article Title">
<meta property = "og:description" content = "Lorem Ipsum is simply dummy text of the printing and typesetting industry. Lorem Ipsum has been the industry's standard dummy text ever since the 1500s, when an unknown printer took a galley of type and scrambled it to make a type specimen book. It has survived not only five centuries, but also the leap into electronic typesetting, remaining essentially unchanged. It was popularised in the 1960s with the release of Letraset sheets containing Lorem Ipsum passages, and more recently with desktop publishing software like Aldus PageMaker including versions of Lorem Ipsum.">

После этого я добавил еще один объект Rule для управления нумерацией страниц CrawlSpider будет использовать следующую ссылку, чтобы открыть другую страницу со списком и выполнять ту же процедуру снова и снова.

Rule(LinkExtractor(restrict_xpaths='//ul[@class = "pagination"]/li[@class = "next"]/a'))

Это мой код CrawlSpider:

from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
import w3lib.html


class ExampleSpider(CrawlSpider):
    name = "example"
    allowed_domains = ["example.com"]
    start_urls = ["https://www.example.com/"]
    custom_settings = {
        'FEED_URI': 'articles.json',
        'FEED_FORMAT': 'json'
    }
    total = 0

   
    rules = (
        # Get the list of all articles on the one page and follow these links
        Rule(LinkExtractor(restrict_xpaths='//div[contains(@class, "snippet-content")]/h2/a'), callback = "parse_item",
             follow=True),
        # After that get pagination next link get href and follow it, repeat the cycle
        Rule(LinkExtractor(restrict_xpaths='//ul[@class = "pagination"]/li[@class = "next"]/a'))
    )

    def parse_item(self, response):
        self.total = self.total + 1
        title = response.xpath('//meta[@property = "og:title"]/@content').get() or ""
        description = w3lib.html.remove_tags(response.xpath('//meta[@property = "og:description"]/@content').get()) or ""
       
        return {
            'id': self.total,
            'title': title,
            'description': description
        }

Есть ли способ ограничить поисковый робот сканированием только первых 5 страниц?