Как читать из определенного раздела Kafka в структурированной потоковой передаче Spark

У меня есть три раздела для моей темы Kafka, и мне было интересно, смогу ли я читать только с одного раздела из трех. Моим потребителем является искровое структурированное потоковое приложение.

Ниже приведены мои существующие настройки kafka в spark.

  val inputDf = spark.readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", brokers)
  .option("subscribe", topic)
  .option("startingOffsets", "latest")
  .load()

apache-kafka kafka-consumer-api spark-structured-streaming spark-streaming-kafka

15.02.2019 07:35

Построение конвейеров данных в реальном времени с Apache Kafka: Руководство по Python

Apache Kafka - популярная платформа распределенной потоковой передачи данных, которую можно использовать для построения конвейеров данных в реальном...

1 037

Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Ответ принят как подходящий

Вот как вы можете читать из определенного раздела.

 val inputDf = spark.readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", brokers)
  .option("assign", """{"topic":[0]}""") 
  .option("startingOffsets", "latest")
  .load()

PS: читать из нескольких разделов вместо 1--> """{"topic":[0,1,2..n]}"""

15.02.2019 08:06

Точно так же, как вы пишете в определенный раздел. Я пробовал это, и это не работает.

        someDF
          .selectExpr("key", "value")
          .writeStream
          .format("kafka")
          .option("kafka.bootstrap.servers", kafkaServers)
          .option("topic", "someTopic")
          .option("partition", partIdx)
          .start()

16.06.2020 01:26

Другие вопросы по теме

Интеграция Kafka в unity3d вызывает ошибку Win32Exception

Как прекратить попытки использовать сообщения из Kafka в конце журнала?

Удалить __Consumer_offset Тема формы Kafka

Интеграция Spring для чтения сообщения из темы Kafka на основе метки времени

Получить имя темы, раздел и смещение в случае обработчиков ошибок контейнера

Кафка поиск текста в теме

Получение сведений об использовании Kafka

Kafka Consumer последовательный или параллельный?

Spring Kafka @KafkaListener — повторите попытку отправки ошибочных сообщений и вручную зафиксируйте смещение

Kafka Streams не увеличивает смещение на 1 при создании темы

Как читать из определенного раздела Kafka в структурированной потоковой передаче Spark

Ответы 2

Другие вопросы по теме

Похожие вопросы