Лимит символов в Splunk
Просто хотел бы спросить, есть ли ограничение на количество символов, когда fluentbit отправляет журналы в splunk? Как увеличить лимит символов с помощью веб-интерфейса Splunk?
Ответы 2
Это зависит от того, как данные отправляются в Splunk. Если он поступает через HEC, ограничение составляет 1 миллион байтов (не символов) и не может быть изменено. Если данные поступают через порт 9997, то они не имеют такого же ограничения, но будут усечены до 10 000 байт. Усечение может быть установлено для типа источника с помощью атрибута TRUNCATE в props.conf или в Настройки-> Типы источников.
Я попытался отредактировать поле C:\Program Files\Splunk\etc\system\default\props.config TRUNCATE, чтобы увеличить значение под [по умолчанию], но это все равно не сработало.
НИКОГДА не меняйте настройку в файле конфигурации по умолчанию. Изменения следует вносить только в файлы конфигурации в local каталогах. См. примечание вверху файла C:\Program Files\Splunk\etc\system\default\props.config. Насколько велики события, которые вы пытаетесь индексировать? На что вы установили TRUNCATE?
Я использовал notepad ++ для подсчета текста, это около 13 КБ. Я увеличил примерно до 25k, и это все еще усечено.
13 000 — это число, которое легко обрабатывается как HEC, так и традиционным онбордингом. Кажется, где-то ошибка в настройках. Убедитесь, что настройки props.conf верны, установлены на первом тяжелом сервере пересылки или индексаторе, который видит данные, и что тип источника во входных настройках соответствует типу в реквизитах.
Создайте новый файл с именем props.conf в "C:\Program Files\Splunk\etc\system\local"
Для настройки усечения в локальном файле props.conf
[host::small_events]
TRUNCATE = 256
Для получения дополнительной информации:
https://docs.splunk.com/Documentation/Splunk/8.0.5/Admin/Propsconf
Спасибо, что поделились. На самом деле я пытался настроить splunk с помощью HEC и использовал fluentbit для сбора журналов в модулях kubernetes. но я понял, что сообщение трассировки не может быть полностью загружено в splunk, оно усечено.