У меня есть локальный кластер k3s Kubernetes, созданный с помощью multipass.
Я пытаюсь настроить Kafka с помощью Ingress на основе этого руководства, чтобы сделать его доступным для клиентов, работающих за пределами Kubernetes.
Вот мои шаги:
Сначала получите IP-адрес моего кластера
➜ kubectl get nodes
NAME STATUS ROLES AGE VERSION
west-master Ready control-plane,master 15m v1.26.3+k3s1
➜ kubectl get node west-master -o wide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
west-master Ready control-plane,master 16m v1.26.3+k3s1 192.168.205.5 <none> Ubuntu 22.04.2 LTS 5.15.0-67-generic containerd://1.6.19-k3s1
➜ kubectl cluster-info
Kubernetes control plane is running at https://192.168.205.5:6443
CoreDNS is running at https://192.168.205.5:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy
Metrics-server is running at https://192.168.205.5:6443/api/v1/namespaces/kube-system/services/https:metrics-server:https/proxy
который равен 192.168.205.5
(это правильный IP-адрес для того, который я использовал в my-kafka-persistent.yaml, который я использовал на следующем шаге?).
Затем я развертываю свою Кафку следующим образом:
kubectl create namespace hm-kafka
kubectl apply --filename = "https://strimzi.io/install/latest?namespace=hm-kafka" --namespace=hm-kafka
kubectl apply --filename=my-kafka-persistent.yaml --namespace=hm-kafka
my-kafka-persistent.yaml (на основе kafka-persistent.yaml):
---
apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
name: hm-kafka
spec:
kafka:
version: 3.4.0
replicas: 3
listeners:
- name: plain
port: 9092
type: internal
tls: false
- name: tls
port: 9093
type: internal
tls: true
- name: external
port: 9094
type: ingress
tls: true
configuration:
bootstrap:
host: kafka-bootstrap.192.168.205.5.nip.io
brokers:
- broker: 0
host: kafka-broker-0.192.168.205.5.nip.io
- broker: 1
host: kafka-broker-1.192.168.205.5.nip.io
- broker: 2
host: kafka-broker-2.192.168.205.5.nip.io
config:
offsets.topic.replication.factor: 3
transaction.state.log.replication.factor: 3
transaction.state.log.min.isr: 2
default.replication.factor: 3
min.insync.replicas: 2
inter.broker.protocol.version: "3.4"
storage:
type: jbod
volumes:
- id: 0
type: persistent-claim
size: 100Gi
deleteClaim: false
zookeeper:
replicas: 3
storage:
type: persistent-claim
size: 100Gi
deleteClaim: false
entityOperator:
topicOperator: {}
userOperator: {}
После развертывания:
стручки
Услуги
Входы
Кроме того, для каждого Ingress я вижу в аннотациях SSL passthrough:
Затем мне удается выполнить руководство по созданию хранилища доверенных сертификатов.
➜ kubectl get secret hm-kafka-cluster-ca-cert \
--namespace=hm-kafka \
--output=jsonpath = "{.data.ca\.crt}" \
| base64 -d \
> ca.crt
➜ keytool -importcert \
-trustcacerts \
-alias root \
-file ca.crt \
-keystore kafka-truststore.jks \
-storepass my_passw0rd \
-noprompt
Certificate was added to keystore
Однако, когда я пытаюсь произвести данные, я столкнулся с этой проблемой:
➜ kafka-console-producer \
--broker-list kafka-bootstrap.192.168.205.5.nip.io:443 \
--producer-property security.protocol=SSL \
--producer-property ssl.truststore.password=my_passw0rd \
--producer-property ssl.truststore.location=kafka-truststore.jks \
--topic my-topic
>[2023-04-14 15:57:06,047] ERROR [Producer clientId=console-producer] Connection to node -1 (kafka-bootstrap.192.168.205.5.nip.io/192.168.205.5:443) failed authentication due to: SSL handshake failed (org.apache.kafka.clients.NetworkClient)
[2023-04-14 15:57:06,047] WARN [Producer clientId=console-producer] Bootstrap broker kafka-bootstrap.192.168.205.5.nip.io:443 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2023-04-14 15:57:06,200] ERROR [Producer clientId=console-producer] Connection to node -1 (kafka-bootstrap.192.168.205.5.nip.io/192.168.205.5:443) failed authentication due to: SSL handshake failed (org.apache.kafka.clients.NetworkClient)
[2023-04-14 15:57:06,201] WARN [Producer clientId=console-producer] Bootstrap broker kafka-bootstrap.192.168.205.5.nip.io:443 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2023-04-14 15:57:06,691] ERROR [Producer clientId=console-producer] Connection to node -1 (kafka-bootstrap.192.168.205.5.nip.io/192.168.205.5:443) failed authentication due to: SSL handshake failed (org.apache.kafka.clients.NetworkClient)
[2023-04-14 15:57:06,691] WARN [Producer clientId=console-producer] Bootstrap broker kafka-bootstrap.192.168.205.5.nip.io:443 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
Любой гид будет признателен, спасибо!
Спасибо @OneCricketeer за указание на проблему!
Поскольку я использую multipass в macOS, я могу предоставить INSTALL_K3S_EXEC = "server --disable traefik"
, поэтому обновленная команда для создания кластера k3s:
multipass launch --name=west-master --cpus=4 --memory=16g --disk=128g
multipass exec west-master -- \
bash -c 'curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC = "server --disable traefik" K3S_KUBECONFIG_MODE = "644" sh -'
На самом деле я переключился на Rancher Desktop, так как он также использует k3s и легко отключается Traefik, который можно настроить в пользовательском интерфейсе.
Что касается того, как развернуть ingress-nginx и как решить другую проблему «вход не содержит допустимого IngressClass», я встретился, я написал в Брокеры Strimzi Kafka не будут созданы из-за «вход не содержит допустимого IngressClass»
k3s использует traefik, а не nginx, поэтому эти аннотации ничего не делают... В упомянутом блоге предполагается, что вместо этого вы используете nginx
Перезапустите кластер k3s, но укажите опцию --no-deploy-traefik
и установите контроллер входа nginx.
В противном случае вам нужно будет обратиться к входным документам Traefik, чтобы узнать, какие соответствующие аннотации он будет использовать для сквозной передачи SSL.
Имейте в виду, что Kafka не является службой HTTP/S, поэтому вам не следует использовать порты 80/443 для связи с ней.
Вот ссылка на использование nginx на k3s dev.to/sr229/how-to-use-nginx-ingress-controller-in-k3s-2ck2