У меня есть несколько вопросов относительно потоков Kafka и того, как они работают, я знаком с общей парадигмой потребителей и производителей Kafka, однако я впервые пытаюсь использовать потоки Kafka.
Вопросы:
KAFKA -> KAFKA, а вместо этого используем KAFKA -> PROCESS(STORE IN DB) -> KAFKA, могут ли потоки Kafka решить этот вариант использования?
Consumer API по-прежнему работает точно так же за кулисами. Чтобы ответить на вопрос - вы запускаете больше запущенных экземпляров приложения; они не обязательно должны быть на совершенно разных серверах
На самом деле не рекомендуется использовать Kafka Streams для удаленной работы, которая не ограничивается взаимодействием с Kafka-Kafka. По крайней мере, без принятия этого решения возникает задержка, и поэтому этого не следует делать, например, при объединении тем, которые зависят от временных окон.
Kafka Connect может быть вашей системой для переноса данных из темы в базу данных
Опять же, Kafka Streams - это просто слой над API производителя / потребителя. Вы по-прежнему будете получать те же сетевые исключения, или, если вы прочитаете поврежденную запись, есть варианты обращения с записями о ядовитых таблетках