Трассировка журнала в конвейере потоковой передачи данных

У меня есть настройка потока данных с несколькими конвейерами, извлекающая данные из подтем паба. Поскольку эти конвейеры разветвляются и сливаются с преобразователями и цепочками DoFunctions, необходимо отслеживать каждое сообщение pubsub, поступающее в конвейер.

Как правильно это сделать? Некоторые мысли:

  1. Боковой ввод
  2. Каждый вход в функцию ParDo должен иметь объект контекста с идентификаторами трассировки и т. д. (Немного неинтуитивно)

Спасибо!

Какова цель отслеживания? Вы пытаетесь регистрировать идентификатор каждого сообщения pubsub по мере его прохождения по конвейеру?

Lukasz Cwik 22.05.2019 20:19

Сколько сообщений вы пытаетесь отследить (все, какая-то случайная выборка, какой-то определенный набор идентификаторов)?

Lukasz Cwik 22.05.2019 20:27

@LukaszCwik Да, я пытаюсь зарегистрировать идентификатор каждого сообщения pubsub по мере его прохождения по конвейеру. На каждом этапе происходит преобразование, и данные обогащаются из различных источников вместе с многократной проверкой. И если на каком-то этапе по какой-то причине произойдет сбой, я хотел бы отслеживать, чтобы его было легко отлаживать.

Yauza 22.05.2019 21:35
3 метода стилизации элементов HTML
3 метода стилизации элементов HTML
Когда дело доходит до применения какого-либо стиля к нашему HTML, существует три подхода: встроенный, внутренний и внешний. Предпочтительным обычно...
Формы c голосовым вводом в React с помощью Speechly
Формы c голосовым вводом в React с помощью Speechly
Пытались ли вы когда-нибудь заполнить веб-форму в области электронной коммерции, которая требует много кликов и выбора? Вас попросят заполнить дату,...
Стилизация и валидация html-формы без использования JavaScript (только HTML/CSS)
Стилизация и валидация html-формы без использования JavaScript (только HTML/CSS)
Будучи разработчиком веб-приложений, легко впасть в заблуждение, считая, что приложение без JavaScript не имеет права на жизнь. Нам становится удобно...
Flatpickr: простой модуль календаря для вашего приложения на React
Flatpickr: простой модуль календаря для вашего приложения на React
Если вы ищете пакет для быстрой интеграции календаря с выбором даты в ваше приложения, то библиотека Flatpickr отлично справится с этой задачей....
В чем разница между Promise и Observable?
В чем разница между Promise и Observable?
Разберитесь в этом вопросе, и вы значительно повысите уровень своей компетенции.
Что такое cURL в PHP? Встроенные функции и пример GET запроса
Что такое cURL в PHP? Встроенные функции и пример GET запроса
Клиент для URL-адресов, cURL, позволяет взаимодействовать с множеством различных серверов по множеству различных протоколов с синтаксисом URL.
0
3
210
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Я считаю, что ваш второй подход имеет наибольший смысл.

Внутри вашей функции элемента процесса вы можете поймать любые исключения и зарегистрировать любые сбои:

import org.sfl4j.Logger;
import org.slf4j.LoggerFactory;
import ...

public class MyDoFn<ObjectWithPubsubIdA, ObjectWithPubsubIdB> {
  private static final Logger LOG = LoggerFactory.getLogger(MyDoFn.class);

  @ProcessElement
  public void processElement(ProcessContext c) {
    ObjectWithPubsubIdA a = c.element();
    try {
      ObjectWithPubsubIdB b = // transform ObjectWithPubsubIdA ...
      c.output(b);
    } catch (Exception e) {
      LOG.error("MyDoFn failed for message with id {} with exception {}", a.getId(), e);
    }
  }
}

Вы можете использовать абстрактный базовый класс или какую-либо другую языковую конструкцию для повторного использования кода, чтобы вы могли использовать одну реализацию для всех ваших преобразований.

Другие вопросы по теме