Сериализация Spark с ошибкой Kryo
Локально
Я успешно запустил приложение Spark локально. Для этого я запустил на своей машине искрового мастера и рабочего. Затем я выполняю spark-submit (выполнение было успешным).
Производство
При передаче моей работы в производство одно и то же приложение запускалось на нескольких машинах на AWS, и выполнение не удавалось.
Ошибка
java.lang.IllegalArgumentException: Class is not registered: scala.collection.immutable.MapLike$ImmutableDefaultKeySet
Вопросов
В чем разница между «Локально» и «Производство»? Можно ли смоделировать поведение «Производство» на моей машине, чтобы избежать сбоев в будущем?
Да, это то же самое :)
—
30.05.2018 13:45
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
Как вычислять биты и понимать побитовые операторы в Java - объяснение с примерами
В компьютерном программировании биты играют важнейшую роль в представлении и манипулировании данными на двоичном уровне. Побитовые операции...
Поднятие тревоги для долго выполняющихся методов в Spring Boot
Приходилось ли вам сталкиваться с требованиями, в которых вас могли попросить поднять тревогу или выдать ошибку, когда метод Java занимает больше...
Полный курс Java для разработчиков веб-сайтов и приложений
Получите сертификат Java Web и Application Developer, используя наш курс.
0
2
60
0
Другие вопросы по теме
Класс не найден даже при импорте (Maven)
Akka Http. Преобразовать ответ API и переслать его
Alpakka S3Client выдает OptionVal $ .contains NoSuchMethodError
Безупречные транзакционные запросы не откатываются
Spark - вычисление суммы всех значений в столбце
Как сделать признак контравариантным, если его параметр типа находится в инвариантной позиции?
Slick 3.2.x в неподдерживаемой базе данных
Scalaz ValidationNel - складывание
Как найти дубликаты в списке в Scala?
Разбор Json с использованием Play Json с разными полями
Похожие вопросы
Org.eclipse.swt.SWTException: неподдерживаемая глубина цвета
Как использовать локальный образ Docker с тестовыми контейнерами?
Получить флажок в значении div из сервлета Java
Правильная инициализация графики (или, может быть, что-то еще, я не уверен) в Java
Построить граф RDF по федеративному запросу?
Чтение стандартного вывода с помощью Java из Linux не работает
Как преобразовать длинную локальную метку времени в метку времени String UTC
Проверить Java POJO, используя схему JSON или эквивалентную?
Как сделать так, чтобы кнопка в java соответствовала текстовому полю?
Исключение DexArchiveBuilderException при использовании stanford corenlp
Вы уверены, что используете одну и ту же версию Spark и Scala в локальной и рабочей среде?