Отключение клиента администратора Kafka Streams

Мы используем Kafka Streams для некоторой обработки потоков и видим странные журналы в нашей системе наблюдения.
Все работает и обработка работает без проблем, но журнал INFO немного беспокоит.

Вот наше определение потока

@Bean
public KTable < Long, String > kStream(StreamsBuilder streamsBuilder) {
 KStream < Long, String > stream1 = streamsBuilder.stream(topic1);
 KStream < Long, String > stream2 = streamsBuilder.stream(topic2);

 stream1.merge(stream2)
     .selectKey((userId, v) - > userId)
     .groupByKey()
     .aggregate(
         CustomObject::new,
         (aggKey, newValue, aggValue) - > aggValue.aggregate(newValue),
         Materialized
         . < Long, OutputObject, KeyValueStore < Bytes, byte[] >> as(storeName)
         .withKeySerde(Serdes.Long())
         .withValueSerde(outputCustomSerde)
         .withStoreType(Materialized.StoreType.IN_MEMORY)
         .withCachingDisabled()
     )
     .toStream()
     .to(topic3);
 return null;
}

На основе определения потока создаются 2 темы Kafka — одна changelog и одна repartition.

Вот 3 информационных журнала, которые мы получаем:
[AdminClient clientId=test-kafka-streams-v2-ade9efd5-bf02-4f98-baf7-97db2bfcb2ef-admin] Cancelled in-flight DELETE_RECORDS request with correlation id 1780227 due to node 1 being disconnected (elapsed time since creation: 3ms, elapsed time since send: 3ms, request timeout: 2ms)

[AdminClient clientId=test-kafka-streams-v2-ade9efd5-bf02-4f98-baf7-97db2bfcb2ef-admin] Cancelled in-flight METADATA request with correlation id 1845715 due to node 1 being disconnected (elapsed time since creation: 19ms, elapsed time since send: 19ms, request timeout: 18ms)

[AminClient clientId=test-kafka-streams-v2-ade9efd5-bf02-4f98-baf7-97db2bfcb2ef-admin] Disconnecting from node 1 due to request timeout.

Наш вопрос: стоит ли нам беспокоиться об этих трех журналах? Если да, то что мы можем с этим поделать?
Если нет, то стоит ли как-то подавить это или просто игнорировать?
Большое спасибо

Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
Как вычислять биты и понимать побитовые операторы в Java - объяснение с примерами
Как вычислять биты и понимать побитовые операторы в Java - объяснение с примерами
В компьютерном программировании биты играют важнейшую роль в представлении и манипулировании данными на двоичном уровне. Побитовые операции...
Поднятие тревоги для долго выполняющихся методов в Spring Boot
Поднятие тревоги для долго выполняющихся методов в Spring Boot
Приходилось ли вам сталкиваться с требованиями, в которых вас могли попросить поднять тревогу или выдать ошибку, когда метод Java занимает больше...
Полный курс Java для разработчиков веб-сайтов и приложений
Полный курс Java для разработчиков веб-сайтов и приложений
Получите сертификат Java Web и Application Developer, используя наш курс.
0
0
50
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

стоит ли нам беспокоиться об этих трёх бревнах

Нет. Клиент администратора просто повторно подключится и повторит попытку.

стоит ли нам как-то подавить это или просто игнорировать?

Я бы просто проигнорировал это. Конечно, вы также можете изменить уровень журнала.

Есть ли какие-либо параметры KafkaStreams, которые вы бы порекомендовали настроить, чтобы можно было исправить эти журналы INFO?

alext 28.08.2024 09:06

Не уверен... но мне все равно интересно. В конце концов, при каждом коммите KS должен использовать клиент администратора для очистки данных из темы перераспределения - учитывая интервал фиксации по умолчанию 30 секунд и тайм-аут соединения по умолчанию 5 минут, я не уверен, почему соединение закрывается... Я думаю, вы могли бы попробовать использовать больший тайм-аут соединения для клиента администратора?

Matthias J. Sax 28.08.2024 19:13

Какой параметр я могу использовать, чтобы увеличить время ожидания соединения для клиента администратора? Довольно странно, что эти журналы являются постоянными каждые несколько минут, но не вызывают никаких реальных проблем с приложением.

alext 29.08.2024 20:12

Другие вопросы по теме