Параллельная обработка с использованием DataFrames в Julia

Я имею в виду пример в документации для обработки Параллельные петли и пытаюсь адаптировать его для своего варианта использования. В моем случае на каждой независимой итерации я получаю в результате DataFrame, который мне нужно окончательно объединить во всех итерациях, используя vcat(). Это упрощенная версия моей попытки:

using DataFrames, Distributed

function test()
    if length(workers()) < length(Sys.cpu_info())
        addprocs(length(Sys.cpu_info()); exeflags = "--project = " * Base.active_project())
    end

    nheads = @distributed (vcat) for i = 1:20
        DataFrame(a=[Int(rand(Bool))])
    end
end

Но при запуске test() я получаю сообщение об ошибке:

ERROR: On worker 2: UndefVarError: DataFrame not defined

Что мне нужно сделать, чтобы исправить это?

Другой подход к загрузке процессов в вашей среде — запустить julia следующим образом: julia --project = "path_to_environment" -e "using Distributed;addprocs(length(Sys.cpu_info()); exeflags=\"--project= \" * Base.active_project());include(\"path_to_file_to_run.jl\");" запустить файл с кодом в ответе, без строки с addprocs()

— 30.05.2019 22:17

julia

30.05.2019 10:40

Стоит ли изучать PHP в 2023-2024 годах?

Привет всем, сегодня я хочу высказать свои соображения по поводу вопроса, который я уже много раз получал в своем сообществе: "Стоит ли изучать PHP в...

Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией

В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.

Приемы CSS-макетирования - floats и Flexbox

Здравствуйте, друзья-студенты! Готовы совершенствовать свои навыки веб-дизайна? Сегодня в нашем путешествии мы рассмотрим приемы CSS-верстки - в...

Тестирование функциональных ngrx-эффектов в Angular 16 с помощью Jest

В системе управления состояниями ngrx, совместимой с Angular 16, появились функциональные эффекты. Это здорово и делает код определенно легче для...

Концепция локализации и ее применение в приложениях React ⚡️

Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...

Пользовательский скаляр GraphQL

Листовые узлы системы типов GraphQL называются скалярами. Достигнув скалярного типа, невозможно спуститься дальше по иерархии типов. Скалярный тип...

455

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Ваше утверждение using DataFrames ... в первой строке относится только к основной «цепочке». Таким образом, ваши рабочие потоки не импортировали необходимые библиотеки.

Чтобы исправить это, вы должны добавить ключевое слово @everywhere в первую строку. Это попросит все процессы импортировать эти библиотеки.

Редактировать

Только что заметил, что вы сделали addprocs в функции. Тогда мое предложение не сработает. Вот рабочая версия:

using Distributed

addprocs(length(Sys.cpu_info()))

@everywhere using DataFrames

function test()
    nheads = @distributed (vcat) for i = 1:20
        DataFrame(a=[Int(rand(Bool))])
    end
end

test()

Я попробовал ваше предложение, но теперь получаю сообщение об ошибке: ошибка оценки: mod = Main, ex = @everywhere с использованием DataFrames, exception = type Ничто не имеет данных поля кадра

— 30.05.2019 11:05

Хм странно. Это работает для меня. Какую версию Джулии вы используете?

— 30.05.2019 11:24

Это Юлия 1.1.0. Как ни странно, это работает, когда @everywhere с использованием DataFrames запускается в REPL, но не через код выше

— 30.05.2019 11:55

При дальнейшем изучении этого кода код работает до тех пор, пока DataFrames установлен в среде Julia по умолчанию (v1.1 в моем случае). Если у вас установлены DataFrames только в среде конкретного проекта, которую вы используете, это не сработает.

— 30.05.2019 12:12

30.05.2019 10:44