Можно ли разделить Kafka-Cluster пополам?

Я предполагаю, что ваши центры обработки данных, которые «не очень далеко друг от друга», в основном являются зонами доступности (AZ).

Довольно часто кластер распределяется по нескольким зонам доступности. Однако обычно нежелательно или невозможно, чтобы каждый «кусочек» мог жить сам по себе.

Непосредственной проблемой является Zookeeper, который по своей конструкции предотвращает сценарии с разделенным мозгом. Таким образом, если кластер ZK разделен, только один «срез» (в лучшем случае) будет продолжать работать. Таким образом, брокеры, которые находятся на стороне неработающих кластеров ZK, не будут работать.

Тогда, допустим, было возможно, чтобы обе стороны продолжали работать. Что произойдет, когда вы снова присоединитесь к обеим сторонам?

Данные, вероятно, расходились, поскольку клиенты записывали данные для каждой стороны отдельно. Теперь у вас может быть один и тот же раздел с разными сообщениями для одного и того же смещения, и у вас не будет возможности разрешить конфликт, поскольку оба варианта «действительны».

Надеюсь, это показывает, почему это невозможное решение. На практике, если зона доступности отключается, она не работает до тех пор, пока не будет снова подключена к сети.

Клиенты, которые были подключены к автономной зоне доступности, должны повторно подключиться к другой зоне доступности (используя несколько серверов начальной загрузки), а клиенты, которые находились в неисправной зоне доступности, должны быть повторно инициализированы в другой зоне доступности.

При правильной настройке Kafka может пережить сбой в зоне доступности (хотя на практике лучше иметь 3 зоны доступности) и сохранить доступными все ресурсы. Также в этом случае кластер автоматически вернется в нормальное состояние, когда вернется отказавшая зона доступности.