Мне нужно поместить файл JSON в тему Kafka, предварительно подключить тему и структурировать данные JSON в запрашиваемую таблицу.
Я следую этому руководству https://prestodb.io/docs/current/connector/kafka-tutorial.html#step-2-load-data
Я не могу понять, как эта команда будет работать.
$ ./kafka-tpch load --brokers localhost:9092 --prefix tpch. --tpch-тип крошечный
Предположим, я создал тестовую тему в kafka с помощью производителя. Как будет генерироваться файл tpch для этой темы?
Если у вас уже есть тема, вам следует перейти к шагу 3, где фактически настраиваются темы для запроса через Presto.
kafka-tpch load
создает новые темы с указанным префиксом
Ваша тема указана в catalog/kafka.properties в виде таблицы, и вы перезапустили Presto после ее добавления?
Прежде чем добавлять файл схемы, убедитесь, что тема отображается в виде таблицы.
Команда выше создает схему tpch и загружает в нее различные таблицы. Это можно использовать для целей тестирования. Если вы хотите работать с реальными темами kafka, вам необходимо указать их в /catalog/kafka.properties против kafka.tables-names. Если вы просто укажете название темы без префикса (например, test_topic), она попадет в схему «по умолчанию». Однако если вы укажете имя темы с префиксом (например, test_schema.test_topic), то тема появится в test_schema. При запросе с помощью presto вы можете указать это имя схемы.
Нам нужно создать файл описания в etc/kafka, который должен отображать столбцы. Но я не получаю таблицу со столбцом, который я упомянул в файле описания.