Ошибка при выполнении сборки SBT
Моя проблема в том, что я пытаюсь выполнить сборку fatjar, созданную с помощью sbt, но я не могу заставить ее работать. Когда я запускаю свой код из IDE (intelliJ), он работает отлично. Однако, как только я сгенерирую сборку с помощью sbt, я получаю две разные ошибки в зависимости от команды, которую я использую для выполнения jar: Выполнение jar-файла из java jvm:
java -jar data-self-service-assembly-0.1.jar
После некоторых действий я получаю эту ошибку в журнале:
[Ljava.lang.StackTraceElement;@7435a578.
No FileSystem for scheme: hdfs
Выполнение jar-файла из spark-submit:
spark2-submit --master yarn --name self-service data-self-service-assembly-0.1.jar
После некоторых действий я получаю эту ошибку в журнале:
[Ljava.lang.StackTraceElement;@290c266c.
No suitable driver
У меня заканчиваются идеи, поэтому я буду очень признателен за любую помощь, которую я могу получить для решения моей проблемы.
Спасибо.
Ответы 2
Принимая удар в это
1. Проверьте, есть ли в вашем коде фрагмент ниже
.setMaster("local[2]")
Вы можете удалить это
2. Проверить путь конфига искры.
spark-submit --verbose --master yarn-cluster --files --properties-file {spark_conf_file_location} --class {main_class} {jar_location}
Спасибо @Sandeep Das за ваш комментарий. Я испробовал обе ваши рекомендации, но пока не работает: _ (
наконец, я смог решить проблему следующим образом:
- Я получил доступ к серверу истории искры, используя этот URL: http: //quickstart.cloudera: 18089 /
- Я получаю журнал выполнения, чтобы получить дополнительную информацию об этом
- Я видел, что путь к классам, используемый Spark, был следующим:
Classpath","/opt/cloudera/parcels/SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957/lib/spark2/jars/ - Поэтому я скопировал файлы jar для jdbc по этому пути
- Затем я отправил задание с помощью этой команды:
spark2-submit --master yarn --name self-service data-self-service-assembly-0.1.jar
Проблема в том, что я не ожидал, что мне придется выполнять эти действия, потому что я думал, что sbt сможет собрать все необходимые jar-файлы и распознать, где они находятся позже, но здесь есть некоторый конфликт между путем к классам, используемым spark2-submit и сбт сборка.
Надеюсь, поможет.
Это не так. У жирного убера должно быть все, как ты говоришь
Я имел в виду толстую убер-банку
Этот stackoverflow.com/a/48860990/2250712 может помочь.