Ниже приведен мой файл для создания докеров:
version: "3"
services:
app:
image: app
restart: always
ports:
- "8001:8081"
depends_on:
- kafka
- zookeeper
- consumer
environment:
- KAFKA_HOST = kafka
zookeeper:
image: "wurstmeister/zookeeper:latest"
ports:
- "2181:2181"
hostname: zookeeper
kafka:
image: "wurstmeister/kafka:2.12-2.2.0"
ports:
- "9092:9092"
hostname: kafka
links:
- zookeeper:zookeeper
environment:
KAFKA_CREATE_TOPICS: "Topic01:2:2" #TOPIC:PARTITON:REPLICATION
KAFKA_ZOOKEEPER_CONNECTION_TIMEOUT_MS: "60000"
KAFKA_AUTO_CREATE_TOPICS_ENABLE: "true"
KAFKA_ZOOKEEPER_CONNECT: "zookeeper:2181"
KAFKA_LISTENERS: 'PLAINTEXT://:9092'
KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://kafka:9092'
volumes:
- /var/run/docker.sock:/var/run/docker.sock
consumer:
image: consumer:latest
build:
context: ./consumer
ports:
- "8283:8283"
Текстовый поток генерируется с использованием контейнера для изображения app
и может создавать сообщения.
Это проверяется путем навигации внутри контейнера kafka:
docker exec -it <CONTAINER ID of Kafka Image> /bin/bash
когда я вручную запускаю приведенный ниже скрипт внутри контейнера
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic Topic01 --from-beginning
Я вижу фрагмент текста, который создается.
Но когда я пытаюсь прочитать те же данные из контейнера изображения consumer
, он выдает пустое,
Пробовал метод:
docker exec
внутри потребительского контейнера и запустил следующий код Python:
from kafka import KafkaConsumer
consumer = KafkaConsumer('Topic01', bootstrap_servers='kafka:9092')
for messages in consumer:
print(messages)
Ничего не печатает.
Это потому, что мой файл для создания докеров неверен или ошибка в коде Python?
@aran Я дал 2 раздела в файле компоновки
Согласно документации Kafka для слушателей:
Listener List - Comma-separated list of URIs we will listen on and the listener names. If the listener name is not a security protocol, listener.security.protocol.map must also be set. Specify hostname as 0.0.0.0 to bind to all interfaces. Leave hostname empty to bind to default interface. Examples of legal listener lists: PLAINTEXT://myhost:9092,SSL://:9091 CLIENT://0.0.0.0:9092,REPLICATION://localhost:9093
Вы устанавливаете KAFKA_LISTENERS
на PLAINTEXT://:9092
, поэтому он привязывается к интерфейсу по умолчанию, который может быть недоступен снаружи вашего контейнера Kafka (в то же время он отлично работает с потребителем консоли, использующим localhost). Попробуйте и укажите KAFKA_LISTENERS
как PLAINTEXT://0.0.0.0:9092
, чтобы проверить, начинает ли ваш потребитель потреблять сообщения.
должен ли я использовать то же значение в коде? то есть; аргумент «bootstrap_server».
сколько разделов в этой теме?