Web Scraping Loop с Puppeteer: «ожидание допустимо только в асинхронной функции»
Я пытаюсь проверить, какой текущий элемент находится в эфире на qvc.com в повторяющемся цикле, используя следующий код, однако я получаю «ожидание допустимо только в асинхронной функции» в строке «const results = await…».
Вот мой код:
(async () => {
// Init
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://www.qvc.com/content/iroa.qvc.eastern.html');
// Selectors
const current_item_selector = '.galleryItem:first-of-type a';
// Functions
setInterval(function() { // Repeat every 5s
const results = await page.$(current_item_selector);
const item = await results.evaluate(element => element.title);
console.info(item);
}, 5000);
})();
ОБНОВЛЯТЬ: setTimeout должен был быть setInterval, что было моей ошибкой, ошибкой копирования/вставки. Я обновил это в кодовом блоке, спасибо тем, кто указал на это.
setTimeout запускается только один раз, вы имели в виду setInterval?
Просто будьте готовы, даже с этим изменением у вас, вероятно, будут проблемы с попыткой await операций в setInterval. См. stackoverflow.com/questions/51830200/… и stackoverflow.com/questions/33289726/…
Ваш браузер закроется до первого интервала. Вам, вероятно, лучше использовать waitForTimeout в цикле while.
![Безумие обратных вызовов в javascript [JS]](https://i.imgur.com/WsjO6zJb.png)
Ответы 1
Функция внутри setInterval также должна быть асинхронной:
// Functions
setInterval(async function() { // Repeat every 5s
const results = await page.$(current_item_selector);
const item = await results.evaluate(element => element.title);
console.info(item);
}, 5000);
Не уверен, но в комментариях к вопросу говорится, что им нужно повторять каждые x секунд. setTimeout не будет правильной функцией для этого. В вопросе также упоминается «повторяющийся цикл», это решает только часть проблемы.
@AlexanderStaroselsky - вы правы, но ответ касается ошибки, о которой спрашивает OP, не упоминалось (пока) о том, что желаемая функциональность не была достигнута.
Это отдельная проблема, но я отредактирую ответ, чтобы учесть это.
Спасибо, что указали на setInterval vs setTimeout, что было ошибкой копирования/вставки с моей стороны при составлении поста. Добавление асинхронности к функции было ответом, однако желаемый эффект еще не достигнут. Я предполагал, что кукольник должен имитировать браузер в узле, но, похоже, это просто повторение одного и того же результата, как если бы это была просто статическая загрузка страницы. Есть ли лучший способ/пакет для этого?
@Hunter, вы можете попробовать перезагружать страницу каждые 5 секунд: github.com/puppeteer/puppeteer/blob/main/docs/…
@domenikk Я поставил функцию перезагрузки вверху интервала, спасибо :)
Ошибка именно такая, как написано - ваша
setTimeoutфункция неasync