Запишите обработанные результаты в файлы JSON

Я использую Scrapy для широкого сканирования и имею следующие требования:

  1. Scrapy очистит URL-адрес;
  2. Scrapy проанализирует ответ из URL-адреса и запишет проанализированные результаты в файл, скажем, file1.json, если и только если размер file1.json меньше, чем 2GB. В противном случае Scrapy создаст новый файл, например file2.json, и напишет ответ на этот новый файл;
  3. Как только ответ будет возвращен, Scrapy извлечет URL-адреса из ответа и будет следовать извлеченному ответу. Тогда начните с пункта 2.

Ниже приведен мой код, я могу выполнить шаг 1 и шаг 3, но не могу понять, где мне разместить логику creating the new file, checking the size и writing the response.

def parse(self, response):

    url = response.request.url
    soup = BeautifulSoup(response.text, 'lxml')

    d = {}
    for element in soup.find_all():
        if element.name in ["html", "body", "script", "footer"]:
            pass

        else:
            x = element.find_all(text=True, recursive=False)
            if x:
                d[element.name] = x

    yield d ---------> I want to write this dictionary in a file as per logic of step 2

    for link in soup.find_all('a', href=True):
        absoluteUrl = urllib.parse.urljoin(url, link['href'])
        parsedUrl = urlparse(absoluteUrl)
        if parsedUrl.scheme.strip().lower() != 'https' and parsedUrl.scheme.strip().lower() != 'http':
            pass
        else:

            url = url.replace("'", r"\'")
            absoluteUrl = absoluteUrl.replace("'", r"\'")

            self.graph.run(
                "MERGE (child:page{page_url:'" + url + "'}) " +
                "On CREATE " +
                "SET child.page_url='" + url + "', child.page_rank = 1.0 " +
                "MERGE (parent:page{page_url:'" + absoluteUrl + "'}) " +
                "On CREATE " +
                "SET parent.page_url = '" + absoluteUrl + "' , parent.page_rank = 1.0 " +
                "MERGE (child)-[:FOLLOWS]->(parent)"
            )

            yield response.follow(absoluteUrl, callback=self.parse). ---> Step 3 ( all good ) 

Мой вопрос заключается в том, где я должен написать логику (должна ли она быть в конвейере, промежуточном программном обеспечении или функции инициализации паука) создания файла, проверки размера файла и записи ответа паука в этот файл?

Любая помощь будет оценена по достоинству. Я пробовал изучать промежуточное ПО, конвейеры и т. д., но не мог понять, как реализовать эту функциональность.

Какой у Вас вопрос? Что происходит, когда вы запускаете свой код? Что вы хотите, чтобы он делал вместо этого?

Code-Apprentice 06.04.2022 20:40

@Code-Apprentice: Извините, мой вопрос: где я должен написать логику (должна ли она быть в конвейере, промежуточном программном обеспечении или функции инициализации паука) создания файла, проверки размера файла и записи ответа паука в это файл.

voila 06.04.2022 20:49
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения текстовых сообщений может быть настолько сложным или простым, насколько вы его сделаете. Как и в любом ML-проекте, вы можете выбрать...
7 лайфхаков для начинающих Python-программистов
7 лайфхаков для начинающих Python-программистов
В этой статье мы расскажем о хитростях и советах по Python, которые должны быть известны разработчику Python.
Установка Apache Cassandra на Mac OS
Установка Apache Cassandra на Mac OS
Это краткое руководство по установке Apache Cassandra.
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
В одном из недавних постов я рассказал о том, как я использую навыки количественных исследований, которые я совершенствую в рамках программы TPQ...
Создание персонального файлового хранилища
Создание персонального файлового хранилища
Вы когда-нибудь хотели поделиться с кем-то файлом, но он содержал конфиденциальную информацию? Многие думают, что электронная почта безопасна, но это...
Создание приборной панели для анализа данных на GCP - часть I
Создание приборной панели для анализа данных на GCP - часть I
Недавно я столкнулся с интересной бизнес-задачей - визуализацией сбоев в цепочке поставок лекарств, которую могут просматривать врачи и...
1
2
34
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Если вы знаете приблизительное количество элементов, которое должен содержать каждый файл, не превышая предельный размер 2 ГБ, то вы можете использовать настройку FEED_EXPORT_BATCH_ITEM_COUNT из коробки, и scrapy автоматически создаст новые файлы, когда количество элементов в файле достигнет указанного выше предела. . Подробнее об этом параметре читайте на странице ПОДАЧИ.

лолз, это так просто, и да, я знаю примерное количество элементов в файле размером 2 ГБ, это решило мой шаг 2 просто без написания кода. Спасибо, @msenior_, люблю тебя, чувак

voila 07.04.2022 05:59

Я проверил его, и он работает и то, что мне нужно. так что все хорошо.

voila 07.04.2022 06:03

Другие вопросы по теме