Как анализировать встроенные ссылки с помощью паука Python Scrapy

Я пытаюсь использовать python scrappy для извлечения информации о каталоге курсов с веб-сайта. Дело в том, что у каждого курса есть ссылка на его полную страницу, и мне нужно перебирать эти страницы одну за другой, чтобы извлечь их информацию, которая позже загружается в базу данных SQL. Во всяком случае, я не знаю, как последовательно менять URL-адреса в пауке. здесь прикреплен ниже мой код до сих пор.

import scrapy

def find_between(s, first, last):
    try:
        start = s.index(first) + len(first)
        end = s.index(last, start)
        return s[start:end]
    except ValueError:
        return ""

class QuoteSpider(scrapy.Spider):
    name = 'courses'
    start_urls = [
        'http://catalog.aucegypt.edu/content.php?catoid=36&navoid=1738',

    ]

    def parse(self, response):
        # pages in span+ a
        all_courses = response.css('.width a')
        for course in all_courses:
            courseURL = course.xpath('@href').extract()
            cleanCourseURL = find_between(str(courseURL), "['", "']")
            fullURL = "http://catalog.aucegypt.edu/" + cleanCourseURL

            #iterate through urls
            QuoteSpider.start_urls += fullURL
            courseName = response.css('.block_content')


            yield {
                'courseNum': fullURL,
                'test': courseName
            }