Как интегрировать Spark Streaming с Tensorflow?

Цель: Непрерывная подача обнюханных сетевых пакетов в Kafka Producer, подключение его к Spark Streaming, чтобы иметь возможность обрабатывать данные пакета, после этого с использованием предварительно обработанных данных в Tensorflow или Keras.

Я обрабатываю непрерывные данные в Spark Streaming (PySpark), который поступает из Kafka, и теперь я хочу отправить обработанные данные в Tensorflow. Как я могу использовать эти преобразованные потоки DStream в Tensorflow с Python? Спасибо.

В настоящее время обработка в Spark Streaming не применяется, но будет добавлена ​​позже. Вот код py:

import sys
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils
from pyspark.conf import SparkConf
from datetime import datetime

if __name__ == '__main__':
    sc = SparkContext(appName='Kafkas')
    ssc = StreamingContext(sc, 2)
    brokers, topic = sys.argv[1:]
    kvs = KafkaUtils.createDirectStream(ssc, [topic], 
                                       {'metadata.broker.list': brokers})
    lines = kvs.map(lambda x: x[1])
    lines.pprint()
    ssc.start()
    ssc.awaitTermination()

Также я использую это для запуска искрового стриминга:

spark-submit --packages org.apache.spark:spark-streaming-kafka-0–8_2.11:2.0.0 
spark-kafka.py localhost:9092 topic