Как масштабировать производителей в приложении kafkajs с помощью Apache Kafka и Nodejs
Я создаю центральный механизм уведомлений для всех микросервисов. Я использую библиотеку KafkaJs. Чтобы масштабировать потребителя, мы можем создать несколько потребителей. Как масштабировать производителей в kafkajs? Могу ли я создать несколько производителей в библиотеке KafkaJs?
Ответы 1
Производитель обычно представляет собой одну переменную в любом приложении, которая повторно используется в функциях.
Чтобы масштабировать производителей, вы должны развернуть несколько процессов одного и того же приложения-производителя.
KafkaJS не «вызывает Java API», поэтому не уверен, что вы имеете в виду, но да, обычно вы запускаете «producer.js» несколько раз. Вы также можете попробовать использовать потоки, но обычно проще использовать многопроцессорную обработку, чем многопоточность.
Для создания нескольких потребителей мы вызываем библиотеку kafkajs следующим образом. constordersConsumer = kafka.consumer({groupId: 'orders'}); const PaymentConsumer = kafka.consumer({groupId: 'платежи'}); const NotificationsConsumer = kafka.consumer({groupId: 'notifications'}); Я хочу знать, как это сделать для продюсеров. У меня есть приложение для уведомлений, и для каждого клиента я хочу иметь отдельного продюсера.
Вы можете сделать то же самое для производителей, если им нужны разные конфиги. Или один производитель может отправлять сообщения по отдельным темам, и нет необходимости масштабировать это в одном приложении, поскольку вы вызываете функцию отправки только один раз для каждого события.
Я читал, что мы можем использовать несколько производителей или несколько потоков производителей. BDW, что вы подразумеваете под развертыванием нескольких процессов. вы имеете в виду файл Produce.js Kafka? потому что это просто вызывает Kafka Java API..