Apache NiFi — можно ли масштабировать на уровне процессора?

Предупреждение для новичков в Apache NiFi!

Любопытно понять (и прочитать соответствующий материал) аспекты масштабируемости пайплайна Apache NiFi в кластерной конфигурации.

Представьте, что есть кластер из 2 узлов Node 1 и Node 2.

Простой вариант использования в качестве примера:

Запросите таблицу базы данных партиями по 100 (допустим, есть 10 пакетов).
Для каждого пакета вызовите REST API (вызовите Http).

Если конвейер запускается на узле 1 в кластере, означает ли это, что все 10 пакетов выполняются только на узле 1?

Есть ли в NiFi какой-нибудь рабочий дистрибутив «из коробки» для каждого уровня процессора? По строкам выполняется 5 пакетов для вызовов REST API на узел.

Распространена ли в природе встроенная очередь NiFi?

Или рекомендуемый способ масштабирования на уровне процессора — опубликовать выходные данные предыдущих процессоров в промежуточном программном обеспечении для обмена сообщениями (например, Kafka), а затем заставить последующий процессор NiFi использовать его?

Каков рекомендуемый способ масштабирования на каждом уровне процессора в NiFi?

etl apache-nifi

14.11.2022 07:33

Стоит ли изучать PHP в 2023-2024 годах?

Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...

Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией

В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.

Приемы CSS-макетирования - floats и Flexbox

Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...

Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest

В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...

Концепция локализации и ее применение в приложениях React ⚡️

Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...

Пользовательский скаляр GraphQL

Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

каждая очередь имеет параметр стратегии балансировки нагрузки со следующими параметрами:

Do not load balance: Не балансируйте нагрузку FlowFiles между узлами в кластере. Это значение по умолчанию.
Partition by attribute: определяет, на какой узел отправить данный FlowFile, на основе значения указанного пользователем атрибута FlowFile.
Round robin: FlowFiles будут распределяться по узлам в кластере по круговой схеме.
Single node: все FlowFiles будут отправлены на один узел в кластере.

Подробности в документации:

https://nifi.apache.org/docs/nifi-docs/html/user-guide.html#Load_Balancing

Спасибо за ответ. Это было полезно. Могу ли я узнать, каковы основы очередей NiFi? Используют ли они существующий брокер сообщений как часть структуры? Или он использует собственные распределенные примитивы очереди?

— 14.11.2022 09:28

собственная реализация на основе файлов, потому что потоковые файлы могут быть большими/массивными

— 14.11.2022 11:21

14.11.2022 09:21