Нифи вставляет данные в друид на докере

У меня на разных серверах установлено 2 докер-контейнера

  1. докер-друид
  2. докер-NiFi

Когда я использовал NiFi для вставки данных в druid, у меня была такая ошибка:

Нифи вставляет данные в друид на докере

У тебя есть идеи? Как сделать эту конфигурацию для друида?

Большое спасибо :)

Развертывание модели машинного обучения с помощью Flask - Angular в Kubernetes
Развертывание модели машинного обучения с помощью Flask - Angular в Kubernetes
Kubernetes - это портативная, расширяемая платформа с открытым исходным кодом для управления контейнерными рабочими нагрузками и сервисами, которая...
Как создать PHP Image с нуля
Как создать PHP Image с нуля
Сегодня мы создадим PHP Image from Scratch для того, чтобы легко развернуть базовые PHP-приложения. Пожалуйста, имейте в виду, что это разработка для...
0
0
261
1

Ответы 1

Как вы используете в своих службах контроллера Reader / Writer

Стратегия доступа к схеме как Используйте свойство SchemaName, тогда

Убедитесь, что у вас есть атрибут schema.name, связанный с потоковый файл.

Для добавления атрибута используйте процессор Обновить атрибут

добавить новое свойство под названием schema.name и значение как schema_name

Пример:

если вы используете AvroSchemaRegistry для доступа к схеме, тогда имя схемы будет вашим значением атрибута schema.name.

Для более подробной информации обратитесь к ссылке это и посмотрите конфиги процессора UpdateAttribute в потоке.

Обновлять:

В соответствии с вашими образцами данных вместо использования JsonPathReader используйте службы контроллера JsonTreeReader и JsonSetWriter.

В службе контроллера AvroSchemaRegistry отсутствует свойство схемы.

в AvroSchemaRegistry добавьте имущество, нажав + знак вверху справа

демонстрация

{
    "type": "record",
    "name": "balances",
    "namespace": "nifi",
    "fields": [{
        "name": "submit_date",
        "type": ["null",
        "string"]
    },
    {
        "name": "request_type",
        "type": ["null",
        "string"]
    },
    {
        "name": "origin",
        "type": ["null",
        "string"]
    },{
        "name": "description",
        "type": ["null",
        "string"]
    }]
}

Привет, Шу, пожалуйста, посмотрите обновленные изображения, теперь, после того, как я выполнил шаги, поскольку в ваших предложениях появилась новая ошибка «Пути JSON» недействительна, потому что НЕ были указаны пути JSON

Thuy Le 04.08.2018 04:17

@ThuyLe, есть ли какая-то конкретная причина использовать службу контроллера JsonPathReader? .. если не использовать службу Контроллер JsonTreeReader в качестве этой службы контроллера, необходимо указать не нужно добавлять пути JSON ... для получения дополнительной информации о читателе jsonpath nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/…

Shu 04.08.2018 04:23

Спасибо @Shu, я понял, что ошибка теперь новая ошибка при потоковой передаче данных в druid. См. Вопрос об обновлении

Thuy Le 04.08.2018 16:51

Привет, @Shu, Обновить картинки вставить данные в druid -config и вставить данные в druid -config_1, а также ошибка err вставить данные в druid [1]: i.stack.imgur.com/dXRTr.png [2]: i.stack.imgur.com/uzn6f.png [3]: i.stack.imgur.com/IcDTz.png

Thuy Le 04.08.2018 16:57

Другие вопросы по теме