KSQL Присоединяйтесь к более чем двум потокам

Можно ли в KSQL объединить более двух потоков / таблиц?

Пример:

У меня есть три потока:

CREATE STREAM StreamA (id BIGINT, message VARCHAR) WITH 
(KAFKA_TOPIC='TopicA', VALUE_FORMAT='DELIMITED');
CREATE STREAM StreamB (id BIGINT, aid BIGINT, message VARCHAR) WITH . 
(KAFKA_TOPIC='TopicB', VALUE_FORMAT='DELIMITED');
CREATE STREAM StreamC (id BIGINT, bid BIGINT, message VARCHAR) WITH 
(KAFKA_TOPIC='TopicC', VALUE_FORMAT='DELIMITED');

Я пытаюсь создать еще один поток, присоединив эти три потока:

CREATE STREAM ABCStream AS SELECT * FROM StreamA a JOIN 
StreamB b ON b.aid = a.id JOIN StreamC c WITHIN 1 HOURS ON 
c.bid = b.id; 

У меня следующее исключение:

mismatched input 'JOIN' expecting ';'  
Caused by: org.antlr.v4.runtime.InputMismatchException

Вы пробовали искать проблемы с github для нескольких присоединений? В прошлый раз, когда я проверил, было как минимум две проблемы с просьбой об этом, поэтому он еще не поддерживается

OneCricketeer 31.10.2018 14:33

спасибо за это @ cricket_007. Я взгляну.

Tim Coombe 31.10.2018 14:45

Не стесняйтесь голосовать за запрос функции для нескольких присоединений на github.com/confluentinc/ksql/issues/1891.

Michael G. Noll 31.10.2018 18:05
Стоит ли изучать PHP в 2023-2024 годах?
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
3
3
2 076
1

Ответы 1

Нет, в KSQL до версии v5.0 вы можете присоединиться только к двум на запрос. Вам нужно будет соединить ваши запросы в цепочку, примерно так:

Промежуточный поток:

CREATE STREAM ABStream AS \
   SELECT * \
     FROM StreamA a \
     JOIN StreamB b \
          ON b.aid = a.id;

Множественный поток

CREATE STREAM ABCStream AS \
   SELECT * \
     FROM ABStream AB \
     JOIN StreamC c \
          WITHIN 1 HOURS \
          ON c.bid = AB.b_id;

Я пробовал нечто подобное на основе ответа на Эта почта, но столкнулся с проблемой несовместимых разделов: не могу присоединиться к ABSTREAM с STREAMC, поскольку количество разделов не совпадает. ABSTREAM перегородки = 4; Разделы STREAMC = 1. Пожалуйста, переразбейте один так, чтобы количество разделов совпадало.

Tim Coombe 01.11.2018 09:38

Это кажется немного неуклюжим, но я заставил его работать, создав другой поток из StreamC, который имел такое же количество разделов, как и промежуточный поток. СОЗДАТЬ STREAM StreamCPartitioned WITH (PARTITIONS = 4) AS SELECT * FROM StreamC PARTITION BY id; Затем объедините этот поток с промежуточным потоком: CREATE STREAM ABCStream AS \ SELECT * \ FROM ABStream AB \ JOIN StreamCPartitioned c \ WITHIN 1 HOURS \ ON c.bid = AB.b_id;

Tim Coombe 01.11.2018 11:35

Да, меня это тоже укусило. Мои исходные темы (A и B в этом примере) имели по 1 разделу каждая, а KSQL по умолчанию имеет 4 раздела для тем, которые он создает (C в этом примере), что делает их несовместимыми для присоединения к другим исходным разделам (например, D). Вы должны указать количество разделов в разделе WITH в KSQL при определении потоков, чтобы убедиться, что все они имеют одинаковое количество разделов.

Raymond Saltrelli 09.08.2019 20:22

Другие вопросы по теме