Время от времени примерно раз в неделю мы попадаем в странное состояние, когда наш кластер Kubernetes не может подключиться к службе Redis хранилища памяти.
K8S mater версия: 1.10.7 Список экземпляров облачной бета-версии Redis --region europe-west1 1 ↵ 10122 12:26:38
INSTANCE_NAME REGION TIER SIZE_GB HOST PORT NETWORK RESERVED_IP STATUS CREATE_TIME
chefclub-redis europe-west1 STANDARD_HA 1 10.0.10.4 6379 default 10.0.10.0/29 READY 2018-05-29T14:12:46
Нет маршрута к хосту.
kubectl run -i --tty busybox --image=busybox -- sh ✓ 10125 12:28:36
If you don't see a command prompt, try pressing enter.
/ # telnet 10.0.10.4 6379
telnet: can't connect to remote host (10.0.10.4): No route to host
Это случалось несколько раз в прошлом. Теперь я только что обновил свой узел до 1.10.7
, и все встало на свои места, я мог подключиться снова.
Интересно, какие еще шаги я мог бы предпринять, когда это произойдет?
Попробую, если это повторится, спасибо @Rico
Убедитесь, что вы следовали инструкциям по соединять для экземпляра Redis из кластера и документа исправление проблем. Обратите внимание, что при подключении к серверу Redis, если в вашей конфигурации кластера включены псевдонимы IP, шаги может отличаться.
Вы можете исследовать через Stackdriver logging для модулей Kubernetes и проверить полное сообщение об ошибке в течение указанного периода времени. Это поможет вам проверить известные проблемы в Github или другом потоке Stackoverflow. Расширенный фильтр журналов Stackdriver для просмотра журналов модуля:
resource.type = "container" resource.labels.cluster_name = "cluster_name" resource.labels.namespace_id = "k8s_namespace" labels."container.googleapis.com/k8s_pod_name" = "k8s_pod_name"
Если вы не обнаружили никаких известных проблем и подозреваете, что проблема может быть связана с Google. Вы можете создать проблему, используя Общедоступный трекер проблем.
Это происходит со всех узлов kubernertes? Вы пытались подключиться с узла, который не удался? Не капсула. Это либо какое-то правило iptables на вашем узле, либо какое-то правило брандмауэра на вашем узле.