Kafka заголовок и пара ключ-значение
Я наткнулся на эту ссылку для заголовков кафки. Как обсуждается в приведенной ниже ссылке
кафка заголовокhttps://cwiki.apache.org/confluence/display/KAFKA/KIP-82+-+Добавить+Запись+Заголовки
Могу ли я использовать пару ключ/значение в API-интерфейсе производителя для отправки информации заголовка и полезной нагрузки? Я вижу пункт о сжатии логов, можно ли отключить сжатие логов, чтобы в моем случае, когда каждый ключ будет уникальным, логи не отслеживали каждую запись?
я создал производителя с парой ключ-значение, где ключ имел информацию заголовка, а значение - полезную нагрузку. Каждый ключ уникален.
Потребитель также получает правильную пару ключ-значение.
Я хотел бы знать, будут ли какие-либо проблемы с использованием этого подхода для информации заголовка с уплотнением журнала на большом объеме. Можно ли отключить компиляцию журналов и разрешить хранению очищать старые данные?
Ответы 2
В дополнение к тому, что сказал cricket_007, и если я понял вопрос, функция сжатия журнала основана не на ключах, используемых внутри заголовка, а на ключе в сообщении Kafka. Каждое сообщение Kafka имеет KEY, полезную нагрузку и заголовки (которые, конечно, представляют собой пары ключ/значение), а затем другие вещи (метка времени,...). Сжатие журнала работает с КЛЮЧОМ сообщения, а не с ключами в карте заголовков.