Сколько потоков поддерживает кластер kafka

Как мы можем проверить, например, сколько потоков поддерживает кластер Kafka с 3 узлами

Мой проект связан с видео, я передаю видео из источника в пункт назначения в виде метаданных с помощью Kafka. то есть я выполняю какой-то процесс с видео, затем формирую метаданные и затем отправляю эти данные в Kafka с помощью API Kafka-Producer через тему «test-topic». Я потребительский класс, который берет эти данные (метаданные) и выполняет какой-то процесс. Вот так я реализовал 3Kafka processors. Я запускаю каждый процесс 6 раз для разных типов входов, так что всего у меня 18 процессоров. Но тут мои сомнения не связаны с процессорами Kafka. Мое сомнение связано с Kafka-Cluster. Как потоки связаны с kafka-cluster и есть ли способ узнать количество потоков, поддерживаемых kafka cluster.

Построение конвейеров данных в реальном времени с Apache Kafka: Руководство по Python
Построение конвейеров данных в реальном времени с Apache Kafka: Руководство по Python
Apache Kafka - популярная платформа распределенной потоковой передачи данных, которую можно использовать для построения конвейеров данных в реальном...
0
0
78
1

Ответы 1

Это будет во многом зависеть от того, что делает ваше приложение, пропускной способности и так далее. Некоторые общие ресурсы, которые могут вам помочь:

Для общего определения размера развертывания ваших кластеров Kafka см. Эталонная архитектура предприятия

Я отредактировал свой ответ в ответ на ваш отредактированный вопрос :)

Robin Moffatt 11.05.2018 21:50

Другие вопросы по теме