Увеличение скорости парсинга веб-страниц с помощью puppeteer

Есть несколько вещей, на которые можно обратить внимание, чтобы улучшить скорость.

1. Первая серьезная проблема, которую я вижу, — это создание нового экземпляра puppeteer при каждом запросе. Мы можем создать модуль по шаблону Singleton.

// browser_instance.ts
import puppeteer from 'puppeteer';

let browserInstance = null;

export async function getBrowser() {
    if (!browserInstance) {
        browserInstance = await puppeteer.launch({ ... });
    }
    return browserInstance;
}

Затем в своем коде попытайтесь получить экземпляр

import { getBrowser } from './browser-instance.js';
....
export const scraperHandler = async (req: Request, res: Response, next: NextFunction) => {
    const browser = await getBrowser();
    // ... use the browser instance for scraping
};

2. Рассмотрите возможность использования Promise.all, чтобы дождаться одновременного завершения всех запросов.

const results = await Promise.all(listUrls.map(async (url) => {
    const page = await browser.newPage();
    // ... scraping logic for each page ...
}));

3. Второй подход — кэшировать существующие веб-сайты, на которые вы уже заходили, если данные не сильно меняются.

Вы можете сделать гораздо больше оптимизаций. Подумайте о том, как найти медленные точки в вашем приложении, и проведите исследование о том, как оптимизировать процесс.

Мне ваш подход кажется излишним. Необходимые данные находятся в статическом HTML-коде, поэтому одного запроса к странице, похоже, достаточно, чтобы получить данные с помощью встроенного в Node API-интерфейса выборки и простого статического анализатора HTML Cheerio:

const cheerio = require("cheerio"); // ^1.0.0-rc.12

const url = "<Your URL>";

fetch(url)
  .then(res => {
    if (!res.ok) {
      throw Error(res.statusText);
    }

    return res.text();
  })
  .then(html => {
    const $ = cheerio.load(html);
    const data = [...$(".listTitle")].map(e => ({
      title: $(e).text(),
      ref: $(e).attr("href"),
    }));
    console.info(data);
  })
  .catch(err => console.error(err));

Для сравнения вот оптимизированная версия Puppeteer:

const puppeteer = require("puppeteer"); // ^22.6.0

const url = "<Your URL>";

let browser;
(async () => {
  browser = await puppeteer.launch();
  const [page] = await browser.pages();
  await page.setJavaScriptEnabled(false);
  const ua =
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36";
  await page.setUserAgent(ua);
  await page.setRequestInterception(true);
  page.on("request", req => {
    if (req.url() === url) {
      req.continue();
    } else {
      req.abort();
    }
  });
  await page.goto(url, {waitUntil: "domcontentloaded"});
  const data = await page.$$eval(".listTitle", els => els.map(el => ({
    title: el.textContent,
    ref: el.href,
  })));
  console.info(data);
})()
  .catch(err => console.error(err))
  .finally(() => browser?.close());

Вот (по сути) ваша версия — неоптимизированная, кроме "domcontentloaded", что является хорошим началом:

let browser;
(async () => {
  browser = await puppeteer.launch();
  const [page] = await browser.pages();
  const ua =
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36";
  await page.setUserAgent(ua);
  await page.goto(url, {waitUntil: "domcontentloaded"});
  const data = await page.$$eval(".listTitle", els => els.map(el => ({
    title: el.textContent,
    ref: el.href,
  })));
  console.info(data);
})()
  .catch(err => console.error(err))
  .finally(() => browser?.close());

Неоптимизированный Кукловод:

real 0m1.806s
user 0m0.801s
sys  0m0.204s

Оптимизированный Кукловод:

real 0m1.251s
user 0m0.651s
sys  0m0.107s

Получить + Приветствие:

real 0m0.836s
user 0m0.251s
sys  0m0.035s

Использование fetch и Cheerio обеспечивает более чем двукратное ускорение, более простой код и отсутствие зависимости от такой сложной библиотеки, как Puppeteer. Основные причины использования Puppeteer для парсинга — это когда вам необходимо выполнять сложные взаимодействия, такие как клики, перехватывать запросы, работать с файлами cookie, избегать блокировок, ждать загрузки SPA и т. д. (некоторые из этих случаев могут применяться здесь, но сначала добавьте пользователя агент на запрос на получение, если вас заблокировали).

Независимо от того, какой подход к очистке вы используете, кэширование ответа — хорошая идея. Я сомневаюсь, что данные так сильно изменяются, поэтому вы можете повторно получать их только раз в час или около того, возможно, в фоновом задании, и мгновенно передавать их всем из кеша через свой прокси.

См. эту запись в моем блоге для получения подробной информации о методах, которые я использовал для ускорения этого сценария.