Кафка, чистилище большого размера
Я наблюдал за нашими брокерами Kafka и увидел, что размер нашего чистилища - 6K - 10K..
каков эффект чистилища большого размера на потребителях?
Ответы 1
Размер чистилища выборки означает, сколько запросов на выборку удерживает брокер в ожидании удовлетворения.
Например, на стороне потребителя есть fetch.min.bytes и fetch.max.wait.ms. Запрос на выборку будет возвращен, если выполнено одно из условий. А до тех пор он будет сидеть в бассейне чистилища, считая его размером с чистилище.
Следовательно, большой размер чистилища просто означает, что запрос на выборку находится в состоянии ожидания. Это может иметь разные причины и не означает ничего хорошего или плохого.
(Ну, если вы хотите, вы можете проверить, есть ли у какого-либо потребителя аномально большие настройки выборки, которые вызывают большой размер чистилища)
Хороший материал для чтения:
- https://www.confluent.io/blog/apache-kafka-purgatory-hierarchical-timing-wheels/
- https://kafka.apache.org/documentation/#monitoring
Я сомневаюсь в этом confluent.io/blog/… Все еще под предложением cwiki.apache.org/confluence/display/KAFKA/…, верно?
Дизайн объединен issues.apache.org/jira/browse/KAFKA-1989. Тем не менее, предлагается оптимизировать внутреннюю реализацию, но не менять значение чистилища. Объяснение чистилища.
В моем случае это около 50-60 тысяч, что в основном связано с тем, что запросы на выборку ожидают данных, но я хотел понять влияние на брокера.