Прием журналов из хранилища BLOB-объектов Azure в Loki

шаги по приему журналов из хранилища BLOB-объектов Azure в Loki

• создать пространство имен Центров событий и Центр событий. На портале Azure перейдите в хранилище BLOB-объектов Azure и выберите «События» в меню слева, а затем выберите «+ Подписка на события» на панели инструментов.

• Введите имя для подписки на событие.

• Введите имя системной темы. Системная тема предоставляет отправителю конечную точку для отправки событий. Дополнительную информацию см. в Темы системы

• выберите тип конечной точки как Центр событий

• Подписка на события срабатывает, когда происходят действия, например связанные с большими двоичными объектами, общими файловыми ресурсами, очередями, таблицами и любыми действиями с соответствующими большими двоичными объектами, и отправляет их в концентратор событий.

Перейдите по этой ссылке для Центров событий Azure на Loki и ссылке 1, чтобы прочитать журналы из учетных записей хранения Azure в Loki.

Шаги по подключению даже хаба к Локи:

• Перейдите в концентратор событий и выберите метод аутентификации, который вы будете использовать: OAuth или строку подключения. Если вы используете OAuth, убедитесь, что у вас настроены необходимые учетные данные. Если вы используете строку подключения, получите ее из Azure.

• В файле конфигурации Loki настройте компонент loki.source.azure_event_hubs. Укажите пространство имен концентратора событий, перечислите концентраторы событий, которые вы хотите использовать, и определите, куда будут пересылаться журналы.

• Настройте блок аутентификации, используя выбранный вами метод и учетные данные. Вы также можете настроить другие параметры, такие как идентификатор группы, правила перемаркировки и использование меток времени входящих сообщений.

• Убедитесь, что пункт назначения, указанный в forward_to, правильно настроен для получения журналов. Этот пункт назначения может быть экземпляром LogsReceiver.

Следуя совету Навина, я сначала использовал подписки на события и системные разделы (Сетка событий Azure) для получения событий, когда файлы больших двоичных объектов добавляются в учетные записи хранения.

Настройка «azure_event_hubs», как указано выше, позволила Promtail пересылать журналы в Loki при каждом срабатывании событий больших двоичных объектов, но это означало, что я не получал содержимое журналов, хранящихся в виде файлов JSON в контейнерах хранения.

Чтобы получить записи журнала диагностики Azure, я выбрал параметр «Потоковая передача в концентратор событий» в настройках диагностики Azure: а, как место для журналов диагностики Здесь вы можете указать, какие категории журналов вас интересуют.

Затем я настроил конфигурацию Promtail следующим образом:

- job_name: azure_event_hubs
azure_event_hubs:
  fully_qualified_namespace: ehns.servicebus.windows.net:9093
  connection_string: connection-string
  event_hubs: eh-name
  labels:
    job: azure_event_hub
relabel_configs:
  - action: replace
    source_labels:
      - __azure_event_hubs_category
    target_label: category

как в конфигурации promtail

Атрибут front_to мне не понадобился, потому что я не использую поток Grafana.

Теперь я могу получать журналы диагностики Azure непосредственно из Azure в Loki и запрашивать их в Grafana, используя метки «categroy» и «job».

В Promtail azure_event_hubs теперь можно рассматривать как цель: цели Promtail

Единственным недостатком этого является то, что нельзя использовать базовый тарифный план Центры событий Azure, а можно использовать стандартные цены и выше.

Хотя этот подход действительно решает мою проблему, я все же хочу минимизировать затраты. Поэтому я буду искать возможность заменить Azure Even Hub (в качестве места назначения для журналов диагностики Azure) на: 1 – экземпляр Kafka, не подключенный к концентратору событий Azure. 2- или путем архивирования в учетных записях хранения (наиболее экономичный подход) и найти способ извлечь оттуда записи журнала и передать их в Loki.

Настройки диагностики Azure позволяют отправлять данные партнерскому решению, но я еще не пробовал.

Редактировать: Более экономичный подход: Контейнер BLOB-объектов учетной записи хранения можно подключить к каталогу второго экземпляра Promtail (как предлагается здесь).

В конфигурационном файле promtail.yaml добавьте новое задание с разделом static_configs в «scrape_configs», указывая Promtail читать из смонтированного каталога (например, /var/log) следующим образом:

scrape_configs:
- job_name: system
  static_configs:
    - targets:
        - localhost
      labels:
              job: varlog
              __path__: /var/log/**/*.log

В отличие от первого подхода, который передает потоковые записи журнала в реальном времени непосредственно из журналов диагностики Azure с помощью концентратора событий, второй подход считывает заархивированные файлы, которые уже записаны в холодное хранилище (косвенно — даже журналы были записаны в учетные записи хранения Azure некоторое время назад).