Я пытаюсь запросить таблицу кустов из кода искры scala и получаю следующую ошибку:
catch exceptionorg.apache.spark.sql.AnalysisException: Table or view not found: `databaseName`.`register`; line 1 pos 35;
'Distinct
+- 'Project ['computer_name]
+- 'UnresolvedRelation `databaseName`.`register`
job failed
Вот код для чтения данных из Hive.
import org.apache.spark.sql.{SQLContext, SparkSession}
val hc = spark.sqlContext
val dbName = "databaseName"
val tblName = "register"
val HostDF = hc.sql(s"""select distinct computer_name from ${dbName}.${tblName} """)
Если я пробежал через spark-shell, я не вижу никаких проблем и получаю данные.
Если я использую тот же код через искровой код scala (я имею в виду запуск jar в кластерном режиме), я получаю вышеупомянутую ошибку.
Может ли кто-нибудь сказать мне, что я делаю неправильно в коде Vs spark-shell?
Спасибо, Баб





Попробуйте устранить неполадки, заглянув в env или db/tables и сравнив
распечатать значения конфигурации
sqlContext.getAllConfs.foreach(println _)
или напечатать имена баз данных и таблицы
sqlContext.tableNames().foreach(println _)
Я нашел проблему. Я не включил куст в искровом сеансе. Благодарю за ваш ответ.