Обработка RDD в файле scala
Я загрузил 2 файла csv, преобразовал RDD в DF и написал несколько условий JOIN для их выполнения. Для этого я использовал искровую оболочку. Теперь я хочу поместить / связать все эти команды в файл .scala и выполнить задание spark-submit. В настоящее время я не использую для этого IDE и хочу работать с терминала. Нужен ли для этого основной метод? Если да, пожалуйста, подскажите, как мне это сделать?
Большое спасибо за ваше время и вклад.
Ответы 1
Вам не нужен основной метод для запуска скрипта Scala в искровой оболочке.
1. Запишите все шаги в файл и сохраните как file.scala.
2.Запустите искровую оболочку, например, spark-shell -i C: \ spark \ file.scala
Ниже приведен пример кода, который я написал в file.scala.
val rdd=sc.textFile("C:\\Users\\manoj kumar dhakad\\Desktop\\scores.txt")
rdd.collect.foreach(println)
Ниже представлен способ, которым я его отправил.
spark-shell -i C:\spark\file.scala
Пример вывода
rdd: org.apache.spark.rdd.RDD[String] = C:\Users\manoj kumar dhakad\Desktop\scores.txt MapPartitionsRDD[1] at textFile at <console>:24
75,89,150,135,200,76,12,100,150,28,178,189,167,200,175,150,87,99,129,149,176,200,87,35,157,189
Я пробовал с классом, но не смог дать с классом. Думаю, можно подарить банкой.