Не удается найти стол в улье с помощью spark-submi

это мой простой код.

spark.sql("select * from default.some_table")

при использовании этого кода в цеппелине или искровой оболочке он отлично работает.

Но попробуйте команду искра-подавать

произошла следующая ошибка

diagnostics: User class threw exception: org.apache.spark.sql.AnalysisException: Table or view not found:: `default`.`some_table`; line 1 pos 14;

любая помощь?

это моя искра отправить команду

spark-submit --class com.any.any.App  --master yarn --deploy-mode cluster app.jar

спасибо

Здесь может быть ответ по этой ссылке - https://stackoverflow.com/questions/38931303/spark-2-0-table‌​-or-view-not-found-w‌​hen-querying-hive

Shree 10.09.2018 09:37

@Rani thanx, но в моем случае я могу получить все свои таблицы с помощью spark.catalog.listTables("default").show(), поэтому для этого нужно другое решение ..

HyungRyuk 10.09.2018 09:44
0
2
258
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Решил !! необходимо установить hive.metastore.warehouse.dir при создании SparkSession !!

val spark = SparkSession
  .builder()
  .appName("mbp stream layer on nuri cluster")
  .config("hive.metastore.warehouse.dir", warehouseLocation)
  .enableHiveSupport()
  .getOrCreate()

Другие вопросы по теме