У меня есть следующее, но я не могу успешно отправить задание через Livy в кластерном режиме.
вот мои настройки
spark.master yarn
livy.spark.master=yarn
livy.spark.deploy-mode = cluster
livy.server.recovery.mode = recovery
livy.server.recovery.state-store = zookeeper
livy.server.recovery.state-store.url = localhost:2181
Что-то не так с этим конф?
Я использую apache livy 0.4 и spark 2.3.0
Я не вижу ошибок, но не уверен, что смотрю правильные журналы. какой журнал мне посмотреть? Я использую java livy api и программно отправляю задания
Убедитесь, что ваш сервер Livy запущен и работает ... обычно это будет @ port 8998, и вы упомянули тот же хост и порт в программе. Если начиная с бэкэнда, то его следует запускать с использованием пользователя Livy. Во-вторых, если кажется, что указанное выше Чтобы все было в порядке, проверьте диспетчер ресурсов, отправляются ли искровые задания
в чем ошибка? и вы используете livy api или командную строку