Как параллельно записывать файлы JSON в смонтированный каталог с помощью Spark в Databricks
У меня есть RDD из 50 000 файлов JSON, которые мне нужно записать в смонтированный каталог в Spark (Databricks). Смонтированный путь выглядит примерно так /mnt/myblob/mydata (с использованием Azure). Я попробовал следующее, но оказалось, что я не могу использовать dbutils внутри задания Spark.
def write_json(output_path, json_data):
dbutils.fs.put(output_path, json_data)
В настоящее время я должен передать данные локально (в драйвер), а затем вызвать метод write_json.
records = my_rdd.collect()
for r in records:
write_json(r['path'], r['json'])
Этот подход работает, но требует вечности для завершения. Есть ли более быстрый способ?
да, один правильно сформированный json на запись.
—
09.04.2019 16:50
Стоит ли изучать PHP в 2023-2024 годах?
Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Приемы CSS-макетирования - floats и Flexbox
Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...
Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest
В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Пользовательский скаляр GraphQL
Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...
2
2
362
1
Перейти к ответу
Данный вопрос помечен как решенный
Ответы 1
Ответ принят как подходящий
Вы можете использовать map для выполнения этой операции параллельно.
def write_json(output_path, json_data):
with open(output_path, "w") as f:
f.write(json_data)
my_rdd.map(lambda r: write_json(r['path'], r['json']))
Другие вопросы по теме
Как запустить оператор SQL из кластера Databricks
Как установить пакет Python «rpy2» в Databricks?
Как добавить совершенно нерелевантный столбец во фрейм данных при использовании pyspark, spark + databricks
Как построить тепловую карту корреляции при использовании pyspark + databricks
Как разобрать JSON, содержащий строковое свойство, представляющее JSON
Как получить данные второго фрейма данных для всех значений определенных значений столбцов, совпадающих в первом фрейме данных?
Как проверить, существует ли большой двоичный объект через pyspark
Как решить, что «aggregateByKey не является членом org.apache.spark.sql.Dataset» в Spark?
Как выполнить накопленное среднее значение для нескольких компаний с помощью искры на основе результатов, хранящихся в Cassandra?
Использование зависимости JAR в контексте параллельного выполнения PySpark
Похожие вопросы
Spark dataframe выбирает столбец из строки
Параметры отправки искры AWS EMR — ошибка
Добавить несколько столбцов в существующий фрейм данных в искре
Развернуть векторный столбец в обычные столбцы в DataFrame
Spark Dataframes: добавить условный столбец в фрейм данных
Всегда ли промежуточные подсчеты требуют кэширования, чтобы избежать пересчета в искре?
Cloudera CDH 5.13 — можно ли запустить spark 2.x в режиме Yarn?
Разделить один столбец на основе значения другого столбца в pyspark
Вычислить нижнюю и верхнюю границы для раздела Spark JDBC
Spark functions.coalesce не работает с коллекциями mongodb, но работает с CSV
Как выглядит ваш рдд? Есть ли у него один полностью сформированный json для каждой записи?