У меня есть код Spark, который записывает пакет в Kafka, как указано здесь:
https://spark.apache.org/docs/2.4.0/structured-streaming-kafka-integration.html
Код выглядит следующим образом:
df.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
\
.write \
.format("kafka") \
.option("kafka.bootstrap.servers",
"host1:port1,host2:port2") \
.option("topic", "topic1") \
.save()
Однако данные записываются только в раздел Kafka 0. Как я могу записать их одинаково во все разделы в одной теме?
Сколько разделов в теме? Сколько отчетливыйkey
в df
?
Kafka распределяет сообщения на основе своих ключей. Поэтому сообщения с одним и тем же ключом будут помещены в один и тот же раздел. Возможно, все ваши сообщения имеют один и тот же ключ.
В этом была проблема. Спасибо за понимание.
Сколько разделов на самом деле имеет тема?