Пересылка сообщений из Amazon MSK в издательство/подписку GCP
Есть ли какой-либо соединитель для подключения AWS MSK к сервису публикации/подписки GCP? Я нашел эту статью, но, кажется, она на стороне Кафки. Какие-либо предложения?
SO для вопросов программирования
Ответы 1
Amazon MSK означает Amazon Managed Streaming for Apache Kafka.
Другими словами, MSK — это Kafka, когда вы взаимодействуете с ним с помощью API-интерфейсов Apache Kafka — потребителя, производителя или администратора.
Предоставленная ссылка ведет к соединителям приемника и источника, которые могут соединять кластер MSK (или любой другой Kafka) и GCP Pub-Sub. Соединитель приемника или источника должен быть развернут в кластере Kafka Connect, который должен находиться в непосредственной близости от хост-кластера Kafka. Это может быть любой самоуправляемый Kafka Connect на EC2 или любое контейнерное решение, если вы знаете, как с ним обращаться. Альтернативно эти соединители могут работать в MSK Connect, который представляет собой управляемый Kafka Connect.
Что тебе понадобится:
- Обеспечьте подключение между VPC/подсетями, где работает Kafka Connect с соединителями, к конечной точке GCP.
- Запустите кластер Kafka Connect, который использует MSK в качестве хост-кластера Kafka. Скопируйте двоичные файлы этих соединителей в каталог
plugin, определенный в рабочей конфигурации. В MSK Connect — создайте собственный плагин. - Создайте коннекторы, используя конечную точку самостоятельного управления Kafka Connect или API MSK Connect.
- Молитесь: наблюдайте, отслеживайте и устраняйте неполадки, пока не будут успешно получены/переданы некоторые данные.
Соединители Kafka должны быть простым решением. Возможно, вы также можете проверить Data Fusion, он имеет оба плагина для Kafka и Pub/Sub и будет подходящим решением, если вы хотите передать свои данные в несколько мест назначения вместе с некоторыми преобразованиями.