Как использовать многопоточный FFTW внутри кода OpenMP на Фортране

Установка omp_num_threads=6 назначит 6 потоков внешней параллельной области. Большинство реализаций вложенного параллелизма, которые я видел, реализованы не очень хорошо. Большую часть времени потоки воссоздаются для каждой внутренней параллельной области. Я бы попытался выполнить вызовы fft последовательно и использовать все потоки для параллельного выполнения внутри fft.

@Йоахим Спасибо. Немного удивлен этим предложением, поскольку я думал, что использование шести потоков для трех последовательных БПФ будет медленнее, чем два потока на каждое БПФ, выполняемое одновременно. Полагаю, я мог бы сложить три БПФ (FFTW позволяет это), а затем просто задействовать все 6 потоков.

При проведении бенчмаркинга также имейте в виду, что создание планов fftw с включенными потоками занимает намного больше времени, поскольку оно измеряет производительность. Посмотрите, поможет ли хранение и загрузка файлов мудрости.

@Homer512 Спасибо. Да, у меня мудрость реализована. Однако я использую чип M1 Pro, который, по утверждению FFTW, не имеет синхронизации, поэтому он возвращается к ESTIMATE. Производственный код, вероятно, будет работать на x86, где будет работать мудрость. Хотелось бы понять узкое место и как его обойти. Завтра я попробую собрать трехмерные массивы и посмотреть, не будут ли они потреблять все шесть потоков.

Я скопировал код и провел несколько тестов. В моей системе (Intel i7-11800H) распараллеливание не может превышать 150% ускорения по сравнению с однопоточным. Если я правильно интерпретирую отчеты perf (менее 1 инструкции за цикл, большое количество промахов LLC), код просто привязан к пропускной способности памяти, а не к производительности процессора.

@Homer512 Спасибо. Неудивительно, что это связано с пропускной способностью памяти. Благодарим вас за воспроизведение и проведение тестов. Я пытался расположить матрицы так, чтобы промахи в кэше были минимальными (для FFTW это говорит о том, что вам нужно менять индексы матрицы, потому что в Фортране есть матрица на основе столбцов, а не строк C). Никогда внимательно не присматривался к тому, что FFTW делает для поддержки многопоточности.

Спасибо. Очень хорошее объяснение вложенности. Я вижу, что моя мысленная модель создания потоков была ошибочной. Надеюсь, ваше решение сработает, поскольку его легко реализовать. Я попробую сделать это, а также объединить три матрицы, чтобы всегда оставаться на одном уровне распараллеливания. Для дальнейшего использования nthreads-var и т. д. хорошо задокументированы: ссылка

Это работает, однако мне нужно установить переменные среды OMP_MAX_ACTIVE_LEVELS=2 и OMP_NUM_THREADS=3,2. На Mac это правильно создает планы FFTW с двумя потоками на FFTW. Когда код достигает части SECTIONS, он сначала насыщает все шесть потоков, но затем вскоре заходит в тупик, и загрузка процессора кодом падает до нуля. Он не вылетает, он просто блокируется. У меня нет Linux-версии, но я установил WSL в Windows 11. При той же настройке заняты только три потока. Другие потоки приходят и уходят, но не выполняют никакой работы. попробую сложить.

Я попробовал перекомпилировать FFTW с -enable-threads (вместо -enable-openmp). Включена библиотека fftw_threads (вместо fftw_openmp) в основной код. Взломан, чтобы указать коду всегда использовать 2 потока для FFTW и выполнить один уровень OpenMP с тремя потоками. На Маке не работает. Он порождает шесть потоков. Но половина сидит в _pthread_cond_wait. Он никогда не завершает один проход через FFTW, когда его вызывают изSECTIONS. Он завершается, если я вызываю FFTW вне какой-либо конструкции OpenMP. Раздражающий.

Согласно stackoverflow.com/a/15013395, создание плана не является потокобезопасным. Вы создаете план последовательно и выполняете его только параллельно?