Как установить SPARK_LOCAL_IP-адреса

У меня есть программа подсчета слов в eclipse с использованием Maven и Scala. После экспорта файла jar и попытки запустить его на терминале (в Ubuntu) Я получил неожиданный результат

Искра моего пути

home/amel/spark

мой путь хауп

/usr/local/hadoop

мои команды su hadoopusr // я ввожу свой пароль затем я ввожу эту команду start-all.sh затем я ввожу свой искровой файл, в котором была сохранена банка, и запускаю эту команду

 spark-submit --class bd.spark_app.first.wordcount --master yarn -- 
    master local[2] SparkExample.jar

р

** имейте в виду, что у меня есть файл в моей HDFS под названием «sampledata», файл, в котором я буду запускать программу подсчета слов **


это код, который у меня есть на eclipse (я использую проект maven с scala ide) пакет bd.spark_app

 import org.apache.spark.SparkConf
    import org.apache.spark.SparkContext
    import org.apache.spark.SparkContext._
    import org.apache.spark.rdd.RDD.rddToOrderedRDDFunctions
    object first {
    def main ( args:Array[String] )  = {

    val conf = new SparkConf().setMaster("local").setAppName("wordcount")

    val sc = new SparkContext(conf)

    val sampledata = sc.textFile("/home/hadoopusr/sampledata")

    val result = sampledata.flatMap(_.split(" ")).map(words => (words, 
    1)).reduceByKey(_+_)
    result.collect.foreach(println)

    result.saveAsTextFile("outputfile")

    sc.stop()
    }
    }

Я ожидал этого результата

(me,4)
(you,3)
(food,2)
(cat,1)
Стоит ли изучать PHP в 2023-2024 годах?
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
1
0
3 489
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий
spark-submit --class bd.spark_app.first.wordcount --master yarn -- 
    master local[2] SparkExample.jar

эта команда неверна, есть 2 мастера, один локальный, а другой пряжа.

во-вторых, вы SparkExample.jar НЕ находитесь на пути, по которому вы пытаетесь выполнить spark-submit, что является причиной исключения classnot found.

пожалуйста, исправьте все это. см. https://spark.apache.org/docs/latest/submitting-applications.html

Я переместил файл jar туда, где я выполняю команду spark-submit, и вот что получилось. Большинство ошибок исчезли, но у меня все еще есть проблема с IP-адресом spark 19/05/26 01:07: 18 WARN Utils: Ваше имя хоста, amel-Satellite-C850-B374, разрешается в петлевой адрес: 127.0.1.1, но мы не смогли найти ни одного внешнего IP-адреса! 19/05/26 01:07:18 WARN Utils: Установите SPARK_LOCAL_IP, если вам нужно выполнить привязку к другому адресу

Amel Hadfi 26.05.2019 01:14

Другие вопросы по теме