Пользовательский интерфейс мониторинга для Apache kafka - kafka manager vs kafka monitor

Kafka-monitor - это (несмотря на название) инструмент для генерации нагрузки и создания отчетов. Yahoo kafka-manager - это инструмент общего мониторинга.

Если вы хотите заплатить за лицензирование и поддержку кластера Kafka, то можете использовать Центр управления Confluent

В качестве альтернативы, бесплатный путь заключался бы в использовании экспортеров JMX из Datadog и / или Prometheus / Influxdb (с панелями мониторинга Grafana) для просмотра общих проверок работоспособности системы (ЦП, сеть, память и т. д.) ... Гораздо больше информации, чем то, что вы получаете только путем мониторинга процессов Kafka с помощью инструментов Kafka

Линзы
Линзы (ex Landoop) расширяет Kafka с помощью пользовательского интерфейса, потокового механизма SQL и мониторинга кластера. Это обеспечивает более быстрый мониторинг конвейеров данных Kafka.

Они предоставляют бесплатный универсальный докер (Коробка для линз), который может обслуживать одного брокера до 25 миллионов сообщений. Обратите внимание, что это рекомендуется для сред разработки.

Cloudera SMM
Streams Messaging Manager - это решение для мониторинга и управления кластерами под управлением Cloudera или Hortonworks kafka. Он также имеет возможность репликации.

Сливаться
Другой вариант - Конфлюэнтное предприятие, который представляет собой дистрибутив Kafka для производственных сред. Он также включает Центр управления, систему управления для Apache Kafka, которая обеспечивает мониторинг и управление кластером из пользовательского интерфейса.

Yahoo CMAK (диспетчер кластеров для Apache Kafka, ранее известный как диспетчер Kafka)
Kafka Manager или CMAK - это инструмент для мониторинга Kafka, предлагающий меньшую функциональность по сравнению с вышеупомянутыми инструментами.

KafDrop
KafDrop - это пользовательский интерфейс для мониторинга кластеров Apache Kafka. Инструмент отображает такую ​​информацию, как брокеры, темы, разделы и даже позволяет просматривать сообщения. Это легкое приложение, работающее на Spring Boot и требующее очень небольшой настройки.

LinkedIn Burrow
Нора - это помощник по мониторингу для Apache Kafka, который обеспечивает проверку задержки потребителя в качестве услуги без необходимости указывать пороговые значения. Он отслеживает подтвержденные взаимозачеты для всех потребителей и вычисляет статус этих потребителей по запросу. Конечная точка HTTP предоставляется для запроса статуса по запросу, а также для предоставления другой информации о кластере Kafka. Существуют также настраиваемые уведомители, которые могут отправлять статус по электронной почте или через HTTP-вызовы в другую службу.

Инструмент Kafka
Инструмент Kafka - это приложение с графическим интерфейсом для управления и использования кластеров Apache Kafka. Он предоставляет интуитивно понятный пользовательский интерфейс, который позволяет быстро просматривать объекты в кластере Kafka, а также сообщения, хранящиеся в темах кластера. Он содержит функции, ориентированные как на разработчиков, так и на администраторов.

Если вы не можете позволить себе лицензию, выберите Yahoo Kafka Manager, LinkedIn Burrow или KafDrop. Продукты Confluent и Landoop - лучшие, но, к сожалению, они требуют лицензирования.

Для получения дополнительной информации вы можете обратиться к моему сообщению в блоге Обзор инструментов мониторинга пользовательского интерфейса для кластеров Apache Kafka.

В моей компании мы использовали продукт Yahoo, мы исследовали продукт LinkedIn и некоторые другие упомянутые продукты. Моя компания в конечном итоге решила использовать Prometheus + Grafana. Всем это нравится, и я очень рекомендую.

У Prometheus + Grafana есть два больших преимущества. Во-первых, он выполняет полнофункциональный прием метрик Kafka + визуализацию + оповещение, но не ограничивается Kafka. В то время как наши первоначальные потребности заключались только в мониторинге Kafka, нам также нужны были метрики на HTTP-серверах + трафик, использование сервера (cpu / ram / disk) и пользовательские метрики на уровне приложений. Прометей занимается всем вышеперечисленным. Во-вторых, Prometheus + Grafana очень качественные, хорошо продуманные и простые в использовании. Многие другие продукты в этой области устарели и с ними сложно работать. Prometheus + Grafana отлично подходят для работы, они легко настраиваются, полируются и просты в использовании. Grafana имеет очень яркий + функциональный интерфейс JavaScript, который позволяет создавать именно те панели мониторинга, которые вам нужны. Prometheus имеет очень совершенный механизм сбора метрик, механизм хранения, язык запросов и систему предупреждений. Что-то вроде Yahoo Kafka Manager имеет гораздо более ограниченную функциональность во всех этих категориях.

Если вы хотите попробовать Prometheus, вам нужно сделать две вещи:

1) установите + настройте экспортер JMX-> Prometheus на ваших брокерах Kafka: https://github.com/prometheus/jmx_exporter

2) Настройте сервер Prometheus для сбора метрик + и настройте панель управления Grafana для отображения нужных вам графиков.

Я бы также сказал, что это только для мониторинга + дашбордов + оповещений. Для функций управления вам все равно понадобятся другие инструменты.