Вывод файла logstash не работает с файлами метаданных

У меня есть следующий конвейер, требование состоит в том, что мне нужно записать данные «показателей» в ОДИН файл и данные СОБЫТИЯ в другой файл. У меня две проблемы с этим конвейером.

  1. Выходной файл не создает «файл с отметкой времени» каждые 30 секунд, вместо этого он создает файл с этим именем output%{[@metadata][ts]}.csv и продолжает добавлять данные.

  2. Вывод CSV создает новый файл с отметкой времени каждые 30 секунд, но каким-то образом он создает один раз дополнительный файл с именем output%{[@metadata][ts]} и продолжает добавлять метаинформацию в этот файл.

Может кто-нибудь, пожалуйста, помогите мне, как я могу это исправить?

input {
  beats {
    port => 5045
  }
}

filter {
   ruby {
        code => '
                event.set("[@metadata][ts]",  Time.now.to_i / 30)
                event.set("[@metadata][suffix]", "output" + (Time.now.to_i / 30).to_s + ".csv")
        '
    }
}

filter {
  metrics {
    meter => [ "code" ]
    add_tag => "metric"
    clear_interval => 30
    flush_interval => 30
  }
}


output {

    if "metric" in [tags] {
        file {
            flush_interval => 30
            codec => line { format => "%{[code][count]} %{[code][count]}"}
            path => "C:/lgstshop/local/csv/output%{[@metadata][ts]}.csv"
        }
        stdout {
          codec => line {
            format => "rate: %{[code][count]}"
          }
        }
      }

   file {
      path => "output.log"
   }    
   csv {
       fields => [ "created", "level", "code"]
       path => "C:/lgstshop/local/output%{[@metadata][ts]}.evt"
    }
}
Стоит ли изучать PHP в 2023-2024 годах?
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
0
0
28
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Фильтр метрик генерирует новые события в конвейере. Эти события будут проходить только через фильтры, которые идут после него. Таким образом, события метрики не имеют поля [@metadata][ts], поэтому ссылки sprintf в разделе вывода не заменяются. Переместите рубиновый фильтр так, чтобы он находился после фильтра метрик.

Если вы не хотите, чтобы метрики отправлялись в csv, оберните этот вывод if "metric" not in [tags] { или поместите его в else существующего условного оператора.

О, попробую через час и сообщу. Спасибо за быстрое руководство!

kosa 20.03.2022 18:37

Есть предложения по второму вопросу?

kosa 20.03.2022 18:58

Кажется, этот метрический фильтр добавляет несколько строк к выходу CSV с метрической информацией, можно ли этого не делать? @Badger

kosa 20.03.2022 19:17

Обновление о выводе csv.

Badger 20.03.2022 23:56

если у вас есть несколько минут, вот еще одна вещь, с которой мне нужна помощь. Я больше не использую метрический фильтр из-за того, что нам нужно несколько настроек, вместо этого я выбрал «рубиновый» фильтр, который помогает мне лучше контролировать. stackoverflow.com/questions/71563167/…

kosa 21.03.2022 21:00

Другие вопросы по теме