Как выйти из искровой программы
как мне выйти (принудительно выдав сообщение об ошибке) из программы Spark, если, например, условие соединения -my не выполняется?
Пример-
Данные сотрудника - emp_id, dep_no
1,1001 2,2001
Данные отдела - dep_no, dept_name, location
1001, xyz, NY 3001, pqr, PA
Теперь, если я хочу обогатить данные о сотрудниках, мне нужно выполнить соединение с данными отдела. Все, что мне нужно, это всякий раз, когда я не нахожу отдел в данных отдела (мое соединение не удастся), я хочу остановить процесс (ошибка) с помощью специального сообщения об ошибке в Spark (Scala).
Спасибо, Сид
Стоит ли изучать PHP в 2026-2027 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
0
1
1 031
1
Ответы 1
В зависимости от вашего варианта использования вы можете использовать один из следующих методов SparkContext:
def cancelJob(jobId: Int, reason: String): Unit
def cancelJobGroup(groupId: String)
def cancelAllJobs()
Несколько полезных звонков:
def applicationId: String // to get current jobId
def setJobGroup(groupId: String, description: String, interruptOnCancel: Boolean = false) // to set groupId for all Spark jobs to be created by the current thread
Другие вопросы по теме
Могут ли быть затребованы операции соединения с базой данных при использовании Spark SQL?
Spark: выберите с помощью клавиши на карте
Почему получается разный результат между pyspark и sql?
PySpark Создать новый столбец из преобразований в другом фрейме данных
Как я могу контролировать количество файлов вывода, записываемых из Spark DataFrame?
Экспоненциальная скользящая средняя Spark
Написание вывода JSON с массивом объектов с помощью Spark
Spark SQL - объедините две таблицы на STRING и BIGINT с помощью CAST
Как разбить один столбец массивов до n столбцов одиночных значений
Сколько задач будет выполнено, если файл имеет 4 раздела?
Похожие вопросы
Могут ли быть затребованы операции соединения с базой данных при использовании Spark SQL?
Spark: выберите с помощью клавиши на карте
Разделение Spark и анализ json в столбце
Spark Streaming: избегайте небольших файлов в HDFS
Перемешивание элементов RDD [List [Double]] в Spark
PySpark с numpy: нестабильность производительности
Проблемы с несколькими проектами sbt-assembly
Почему получается разный результат между pyspark и sql?
Как я могу контролировать количество файлов вывода, записываемых из Spark DataFrame?
Экспоненциальная скользящая средняя Spark
Используйте Try Catch в коде для создания настраиваемого исключения