Настройка SSL между Filebeat и Amazon MSK (Kafka)
Я успешно получил экспорт журналов Filebeat в MSK в текстовом режиме. При попытке сделать то же самое через SSL я получаю сообщения об ошибках со стороны Filebeat.
Publish failed with circuit breaker is open
и ошибки рукопожатия SSL в журналах MSK Cloudwatch.
Мне не нужна двусторонняя проверка, поэтому я предполагаю, что мне просто нужно передать Filebeat ACM-PCA из консоли MSK, однако я все еще получаю проблемы с подтверждением связи SSL.
Может ли кто-нибудь предоставить образец конфигурации Filebeat для вывода в MSK.
Ответы 1
Вы можете создать частный сертификат через консоль ACM.
После этого вы можете экспортировать сертификат из ACM и использовать сертификат и ключ в выводе файла.
Первый шаг
диспетчер сертификатов> запросить сертификат> запросить частный сертификат> выберите свой частный сертификат kafka
Например, в качестве подстановочного знака DNS-имени используется имя хоста MSK.
*.my-kafka-cluster.h6q2kl.c4.kafka.eu-west-2.amazonaws.com
После этого запросите сертификат
Шаг второй
Экспортируйте частный сертификат в действиях в диспетчере сертификатов, нажмите, и вы получите сертификат, цепочку сертификатов и ключ. Вам понадобится только сертификат и ключ.
Шаг третий
Добавьте свой сертификат и ключ в свой экземпляр и настройте вывод файла для использования сертификатов SSL. (Возможно, вы захотите удалить пароль из ключа), если не настроите хранилище ключей filebeat, чтобы избежать незашифрованных паролей.
openssl rsa -in [исходный.ключ] -out [новый.ключ]
output.kafka:
hosts: ["*******"]
topic: "*****"
partition.round_robin:
reachable_only: false
required_acks: 1
compression: gzip
max_message_bytes: 1000000
ssl.certificate: "/root/certs/kafka-broker.pem"
ssl.key: "/root/certs/kafka.key"
Вы должны начать видеть свои данные в своей теме после перезапуска filebeat.