Использование промисов для параллельной обработки в памяти
У нас есть проект, в котором нам нужно обработать около 5000 объектов, и обработка каждого объекта занимает 200-500 миллисекунд. Разработчик из моей команды предложил использовать обещания для одновременной обработки каждого объекта. Итак, в основном что-то вроде этого:
let result = await Promise.all(objects.map(o => process(o));
Код process() может выглядеть так:
async process(theObject) {
return new Promise(resolve => {
1 + 1 = 2;
resolve();
});
}
Хотя это кажется справедливым шаблоном, это похоже на анти-шаблон или запах кода. Кроме того, кажется, что есть что-то в том, как Node/V8 обрабатывает промисы, что позже может привести к серьезным проблемам. У кого-нибудь есть мысли об этом шаблоне и может ли он быть полезным/менее?
"может выглядеть так" - покажите ваш актуальный код. Промисы полезны только тогда, когда ваша обработка асинхронна. Промисы сами по себе ничего не делают одновременно.
Ответы 1
Одним из предостережений при использовании Promise.all() является то, как он обрабатывает ошибки. Из МДН:
It rejects with the reason of the first promise that rejects.
Так что, если одна ошибка обработки ~ 5000 объектов останавливает весь процесс, это нормально, тогда это кажется достойным инструментом. Я бы рекомендовал настроить очередь, чтобы отделить обработку от оркестровки сообщений, а также обеспечить преимущества масштабируемости.
Отклонение обещания не останавливает весь процесс, все, что он делает, это немедленно вызывает обработчик ошибок. Все незавершенные асинхронные задачи будут продолжать выполняться до тех пор, пока вы явно не остановите их (если их вообще можно остановить).
Есть 2 вещи, которые могут быть проблемой. 1) Promise.all ждет завершения ВСЕХ обещаний, прежде чем продолжить, и 2) если одно обещание отклоняется, не будучи пойманным, Promise.all также отклоняется.