Как мы можем сбросить тему кафки в presto

Мне нужно поместить файл JSON в тему Kafka, предварительно подключить тему и структурировать данные JSON в запрашиваемую таблицу.

Я следую этому руководству https://prestodb.io/docs/current/connector/kafka-tutorial.html#step-2-load-data

Я не могу понять, как эта команда будет работать.

$ ./kafka-tpch load --brokers localhost:9092 --prefix tpch. --tpch-тип крошечный

Предположим, я создал тестовую тему в kafka с помощью производителя. Как будет генерироваться файл tpch для этой темы?

Построение конвейеров данных в реальном времени с Apache Kafka: Руководство по Python
Построение конвейеров данных в реальном времени с Apache Kafka: Руководство по Python
Apache Kafka - популярная платформа распределенной потоковой передачи данных, которую можно использовать для построения конвейеров данных в реальном...
0
0
623
2
Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Ответ принят как подходящий

Если у вас уже есть тема, вам следует перейти к шагу 3, где фактически настраиваются темы для запроса через Presto.

kafka-tpch load создает новые темы с указанным префиксом

Нам нужно создать файл описания в etc/kafka, который должен отображать столбцы. Но я не получаю таблицу со столбцом, который я упомянул в файле описания.

rishu nigam 18.12.2020 06:30

Ваша тема указана в catalog/kafka.properties в виде таблицы, и вы перезапустили Presto после ее добавления?

OneCricketeer 18.12.2020 06:35

Прежде чем добавлять файл схемы, убедитесь, что тема отображается в виде таблицы.

OneCricketeer 18.12.2020 06:36

Команда выше создает схему tpch и загружает в нее различные таблицы. Это можно использовать для целей тестирования. Если вы хотите работать с реальными темами kafka, вам необходимо указать их в /catalog/kafka.properties против kafka.tables-names. Если вы просто укажете название темы без префикса (например, test_topic), она попадет в схему «по умолчанию». Однако если вы укажете имя темы с префиксом (например, test_schema.test_topic), то тема появится в test_schema. При запросе с помощью presto вы можете указать это имя схемы.

Другие вопросы по теме