Кафка: Множество тем, в каждой всего по одному разделу
В Kafka многие разделы темы хранились на разных брокерах для лучшего параллелизма и пропускной способности.
Однако будет ли очень большое количество однораздельных тем одинаково распределяться между брокерами в кластере? Я думаю, зачем Кафке отправлять очень большое количество тем одному и тому же брокеру - я имею в виду, это могло бы быть, если бы он выполнял циклический перебор тем, всегда начиная с Брокера №. «1», но я понятия не имею, что это такое.
У меня ситуация, когда я не могу распараллелить потребление тем с помощью нескольких потребителей, т. е. у меня может быть только один потребитель на тему.
Вопросы по теме: Существует ли максимальное ограничение на количество тем в Kafka, однораздельных или нет?
Ответы 1
В Kafka секционирование тем способствует параллелизму и пропускной способности, при этом каждый раздел хранится на одном брокере. Балансировка нагрузки разделов между брокерами управляется алгоритмами назначения разделов Kafka, обеспечивая равномерное распределение и отказоустойчивость.
Для большого количества тем с одним разделом Kafka использует такие стратегии, как диапазон или циклическое назначение разделов, для эффективного распределения разделов между брокерами.
В сценариях, где возможен только один потребитель на каждую тему, управление несколькими темами с одним разделом возможно, но требует учета емкости кластера и характеристик рабочей нагрузки.
Хотя Kafka не накладывает жестких ограничений на количество тем, операционные ограничения определяются практическими ограничениями, такими как накладные расходы на метаданные и доступность ресурсов.
Постоянный мониторинг и масштабирование кластера необходимы по мере роста числа тем для поддержания оптимальной производительности.
Похожий пост, но я думаю, что режим Kraft может поддерживать больше confluent.io/blog/…