Визуализация статических файлов журнала в Kibana
У меня есть несколько журналов Apache Server, которые я хочу проанализировать в Kibana для визуализации. Прямо сейчас я попытался настроить Elasticsearch + Kibana + Filebeat для приема этих журналов сервера. Тем не менее, Filebeat, похоже, потребляет довольно много ресурсов ЦП.
Эти журналы являются статическими, т.е. старые журналы, которые я собирал. Поэтому мне не нужны возможности активного мониторинга Filebeat. В этом случае есть ли другие альтернативные способы импорта журналов Apache Server в Kibana только один раз?
Кроме того, в качестве примечания, в чем разница между filebeat и logstash? Я читал, что logstash может анализировать больше информации из журналов, например, геолокацию. Однако, опробовав мой метод, кажется, что модуль apache filebeat также способен на это.
Ответы 1
Filebeat будет отслеживать изменения в журналах в указанном каталоге. Вы можете контролировать это, либо переместив обработанные файлы в неотслеживаемый каталог, либо установив параметр ignore_olderвариант. Также обратите внимание на параметры, начинающиеся с close_, чтобы узнать больше об оптимизации в этой области.
Filebeat — это более легкий локальный агент, который может выполнять некоторую обработку и отправлять журналы в logstash или elasticsearch. Некоторая локальная обработка (например, многострочная и игнорирование) очень эффективна.
Logstash также можно использовать в качестве отправителя, но обычно он используется для преобразования неструктурированных журналов в структурированные данные для вставки в elasticsearch. Варианты обработки в основном не ограничены благодаря использованию встроенного фильтры, и вы можете перейти в ruby, чтобы делать действительно пользовательские вещи.