Я использую Airflow для планирования отправки JAR (соответствующих упаковке приложений Spark) в кластер Hadoop.
Различные задания Spark имеют одинаковое имя JAR, но в зависимости от файлов конфигурации (я использую файлы .conf с библиотекой конфигурации TypeSafe) запускаются разные задания. Мой вопрос в том, как заставить Airflow анализировать файлы .conf, чтобы знать, какое искровое задание запускать.
так вот я запускаю искровое приложение с spark-submit --class ( same class for all jobs) -Dconfig.file=path/to/config-file
Любая идея об этом, пожалуйста
Я столкнулся с той же проблемой. Мне удалось передать конфиг через свойства системы jvm. Это работает, потому что конфигурация typeafe включает системные свойства jvm при загрузке.
Точнее, я отправляю необходимые свойства в файле конфигурации с помощью spark.driver.extraJavaOptions
.
@scalacode Я жестко закодировал конфигурацию в задаче, в которой я отправляю искровое задание.
привет, я использовал это: dataproc_spark_properties = {'spark.driver.extraJavaOptions': ' gs: // test-dev / fileCo nf / development.conf'}. Но это не сработало. Как тебе это удалось, пожалуйста
но как передать это воздушному потоку