Как запустить Scrapy spider из AWS Lambda?

Я пытаюсь запустить scrapy spider из AWS Lambda. Вот как выглядит мой текущий скрипт, который очищает тестовые данные.

import boto3
import scrapy
from scrapy.crawler import CrawlerProcess

s3 = boto3.client('s3')
BUCKET = 'sample-bucket'

class BookSpider(scrapy.Spider):
    name = 'bookspider'
    start_urls = [
        'http://books.toscrape.com/'
    ]

    def parse(self, response):
        for link in response.xpath('//article[@class = "product_pod"]/div/a/@href').extract():
            yield response.follow(link, callback=self.parse_detail)
        next_page = response.xpath('//li[@class = "next"]/a/@href').extract_first()
        if next_page:
            yield response.follow(next_page, callback=self.parse)

    def parse_detail(self, response):
        title = response.xpath('//div[contains(@class, "product_main")]/h1/text()').extract_first()
        price = response.xpath('//div[contains(@class, "product_main")]/'
                               'p[@class = "price_color"]/text()').extract_first()
        availability = response.xpath('//div[contains(@class, "product_main")]/'
                                      'p[contains(@class, "availability")]/text()').extract()
        availability = ''.join(availability).strip()
        upc = response.xpath('//th[contains(text(), "UPC")]/'
                             'following-sibling::td/text()').extract_first()
        yield {
            'title': title,
            'price': price,
            'availability': availability,
            'upc': upc
        }

def main(event, context):
    process = CrawlerProcess({
        'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
        'FEED_FORMAT': 'json',
        'FEED_URI': 'result.json'
    })

    process.crawl(BookSpider)
    process.start() # the script will block here until the crawling is finished

    data = open('result.json', 'rb')
    s3.put_object(Bucket = BUCKET, Key='result.json', Body=data)
    print('All done.')

if __name__ == "__main__":
    main('', '')

Сначала я локально протестировал этот сценарий, и он работал в обычном режиме, очищая данные и сохраняя их в «results.json», а затем загружая их в свою корзину S3.

Затем я настроил свою функцию AWS Lambda, следуя руководству здесь: https://serverless.com/blog/serverless-python-packaging/, и она успешно импортирует библиотеку Scrapy в AWS Lambda для выполнения.

Однако, когда скрипт запускается на AWS Lambda, он не очищает данные и просто выдает ошибку для results.json не существует.

Будем очень признательны всем, кто настроил запуск Scrapy или имеет обходной путь или может указать мне правильное направление.

Спасибо.