Могу ли я сжать промежуточную тему (хранилище состояний), используемую KafkaStream в Kafka
При использовании процессора с отслеживанием состояния состояния также могут храниться в kafka.
Например, темы со следующими названиями:
-repartition-x и -changelog-x
Могу ли я сжать эти темы, например, с помощью gzip, и KafkaStream все равно сможет их использовать?
Ответы 1
Как указал Матиас, вы можете сжимать сообщения, установив конфигурацию темы compression.type во внутренней конфигурации темы. См. https://kafka.apache.org/10/javadoc/org/apache/kafka/streams/state/StoreBuilder.html#withLoggingEnabled-java.util.Map-
В качестве альтернативы вы также можете реализовать собственный Serde, который выполняет сжатие.
Предпочтите первое, так как оно будет сжато только в темах Kafka, а не в хранилище состояний. Это позволяет избежать ненужного сжатия/распаковки во время обработки.
да. Вы можете включить сжатие для этих тем.