Как проверить мою потоковую передачу pyspark без искры и среды kafka

Я написал свой код Python локально, он касается потоковой передачи искр, извлекающих данные из kafka и выполнения некоторых операций rdd, я хотел бы проверить, удовлетворяет ли моя операция rdd мои ожидания, но я не настроил kafka и spark, как проверить свою работу ?

может быть что-то вроде unit test? кто-нибудь знает?

Frank 11.04.2018 12:59

возможный дубликат stackoverflow.com/questions/43507988/how-to-test-spark-rdd

Panos 11.04.2018 14:22
0
2
56
0

Другие вопросы по теме