Я новичок в Spark. У меня есть файл pcap. Как Spark может прочитать этот файл с помощью Python? Как я могу загрузить файл pcap в Spark с помощью python и как его обработать?
conf = SparkConf().setMaster("local").setAppName("SparkStreamingPcap")
sc = SparkContext(conf = conf)
sc.setLogLevel("ERROR")
spark = SparkSession(sc)
FileLog = sc.textFile("pcapFiles/ipv4frags.pcap")
df = FileLog.map(lambda line: line.split("\n"))
print("Helloo")
print (df.count())
Я отредактировал свой вопрос. Я загрузил фрагмент кода
1. файл существует в этом месте? 2. Каков ваш ожидаемый результат и что вы получите сейчас? какая-нибудь ошибка?
Я хочу обработать файл pcap. Я хочу получить отметку времени и IPS. Я не получаю никаких результатов
Вы также можете попробовать использовать dpkt
или scapy
для анализа файлов pcap в коде pyspark.
Верно: действительно, вы не можете читать pcap как текст, а как двоичный файл с собственным форматом. Вам придется реализовать волшебную обработку и многое другое, если вы не используете уже существующий API.
Вы написали какой-нибудь код, чтобы мы могли вам помочь?