Spark-Не отправка заданий на узлы в кластере
Я выполнил настройку Spark в автономном кластерном режиме (Windows 7). Я могу зарегистрировать 2 узла и проверить то же самое в пользовательском интерфейсе искры. Но когда я отправляю задание, его статус всегда остается как ОЖИДАНИЕ.
Нет проблем с брандмауэром или разрешений для журнала / рабочего каталога для рабочих узлов.
Любая помощь будет оценена по достоинству.
Привет, Мишель, я выполнил следующие шаги, чтобы запустить мастер и рабочие .. 1. Запустите spark-class org.apache.spark.deploy.master.Master, чтобы запустить мастер. Это даст вам URL-адрес формы spark: // ip: port 2. Запустите spark-class org.apache.spark.deploy.worker.Worker spark: // ip: port -m 6g для запуска рабочего. Убедитесь, что вы используете URL-адрес, полученный на шаге 1.
Вы пытались просто использовать Spark-Shell для своего основного URL-адреса? (и убедитесь, что новое приложение запущено на localhost: 8080). Еще одна вещь, на которую стоит обратить внимание, - это количество ресурсов. Указываете ли вы, отправляя задание искрой, количество ядер / памяти, которые нужно получить от локального кластера?
Достаточно ли у вас ресурсов для распределения в соответствии с настройками, которые вы установили для своей работы? Причина может быть вызвана тем, что вы установили для своих исполнителей больше ресурсов, чем можно использовать в вашей системе. например, у вас может быть только 4g RAM, но вы установили его на 6g.
Я могу выполнять задания в кластере. Это похоже на то, что упоминал epcpu. У меня есть рабочие с 6-граммовой оперативной памятью, но я устанавливал для spark.executor.memory значение 8g. Спасибо за помощь, epcpu и Мишель.
Ответы 1
Я провел несколько тестов на своем локальном компьютере (Windows 10 с WSL):
- Запустил мастер:
./sbin/start-master.sh - Запущено ведомое устройство с основным URL:
./sbin/start-slave.sh - Отправлен пример sparkpi, и приложение ожидает:
./spark-submit --executor-cores 64 --master spark://[master-hostname]:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.0.jar - Отправлен пример sparkpi, и приложение завершает работу:
./spark-submit --executor-cores 4 --master spark://[master-hostname]:7077 --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.0.jar
Итак, как мы с epcpu уже говорили, вы можете запрашивать слишком много ресурсов в своем кластере, и менеджер ресурсов ждет, пока они станут доступными.
Можете ли вы поделиться соответствующими частями командных строк, которые вы используете для запуска мастера и исполнителей?