Я разрабатываю служба отправки электронной почты, вероятно, для отправки массовых электронных писем с использованием веб-API sendgrid, но я не могу определить передовой опыт для масштабируемой системы. Я хочу вести учет всех тех электронных писем, которые не удалось доставить, и повторить попытку отправки этих неудачных электронных писем после того, как все электронные письма будут отправлены. Я использую NodeJs, поэтому просто хотел узнать, есть ли способ ускорить мой процесс (что-то вроде отправки нескольких писем одновременно)
Но в ситуации, когда мне нужно отправить около 999 электронных писем (согласно документации, это 1K электронных писем за один раз), если есть ошибка, она не будет обрабатывать доставку электронной почты, а выдаст мне ошибку, которая не является сценарием. Я надеюсь, что мне нужен список только тех электронных писем, которые терпят неудачу, и при его обработке программа не должна ломаться в случае, если какое-либо электронное письмо не будет доставлено, поэтому использование Promise.all также не рекомендуется. Он должен работать параллельно (я знаю, что nodejs является однопоточным, просто не получает нужного слова) без поломок, и да, мне нужно использовать некоторую базу данных для проверки.





Sendgrid предлагает пакет npm для интеграции с node.js, так что вам не придется изобретать велосипед. Он принимает сообщения с высокой скоростью, поэтому у вас не должно возникнуть проблем с доставкой ваших сообщений в sendgrid. Вы просто сбрасываете свои сообщения в sendgrid.
Электронная почта, будучи системой промежуточного хранения, по своей сути асинхронна. Это означает, что он работает далеко от реального времени. Некоторые сообщения доставляются в течение нескольких секунд, а для других требуются часы (когда они становятся «мягкими» — «повторите попытку позже» — например, отклонением от целевых серверов).
Sendgrid решает эту проблему с помощью API "отказов". (И с функциями «отскоков» в их веб-приложении). Многие отказы являются «жесткими» отказами, что означает, что вы должны избегать повторных попыток отправки сообщений на этот адрес. Вы можете использовать API отказов для получения списка возвращенных сообщений. Вы должны удалить эти адреса из своего списка адресов электронной почты и не пытаться отправить их снова. (Sendgrid блокирует пользователей, которые повторно отправляют рассылки с высоким уровнем недоставки.)
У них также есть API «недействительных писем». Это работает как "отказы" и возвращает списки адресов, которые имеют неправильный формат или, если sendgrid может сказать, не присутствуют на целевом сервере. Опять же, вы должны удалить эти адреса из своего списка адресов электронной почты. Если они недействительны сейчас, они будут недействительны завтра.
Sendgrid предлагает всевозможные учебные пособия по этому вопросу.
Есть несколько способов справиться с этим, я предложу два, которые кажутся мне очевидными.
(Рекомендуется — просто) Используйте параметр потока управления асинхронного модуля под названием очередьАсинхронная документация. Вы можете подать весь запрос в виде массива запросов объекта, а затем изменить параметр параллелизма, скажем, на 100, он будет запускать одновременно 100 рабочих процессов и регистрировать ошибки, создавать отдельный механизм, и как только все значения будут пройти через обрабатывать его отдельно.
Создайте несколько рабочих процессов, используя собственный подход node.js.
Это правильный ответ, нам нужны опции для отправки нескольких электронных писем, у sendgrid нет опций для отправки 10+ электронных писем по одному запросу! Через require('request-promise') также один из способов, который я исследовал, stackoverflow.com/questions/54209690/…
обычно send grid возвращает код ошибки или код состояния при отправке электронной почты. Один из способов разобраться в этом - зарегистрировать каждое электронное письмо, которое нужно отправить, в БД и пометить 0, если не удалось, 1, если электронное письмо отправлено успешно, а затем повторить попытку, используя какой-либо планировщик или задание cron. Но вам придется обрабатывать, чтобы игнорировать недействительную электронную почту или несуществующие электронные письма.