Как использовать 128-битные числа с плавающей запятой и комплексные числа в OpenCL/CUDA?

Ни один из современных графических процессоров/процессоров не поддерживает FP128. Графические процессоры имеют схему только для FP32 и очень ограниченную поддержку FP64. Ни OpenCL, ни CUDA не поддерживают FP128.

Вам придется реализовать формат самостоятельно, преобразование и арифметика эмулируются как структура из двух 64-битных целых чисел. То же самое для комплексных чисел.

У меня есть сверхбыстрые алгоритмы преобразования FP16<->FP32 здесь, они адаптируются к FP64<->FP128. Для арифметики вам нужно найти решение.

Зачем вообще нужны 34 десятичных цифры? Есть ли способ сделать то же самое с FP64? Довольно часто вы можете использовать числовые трюки, чтобы избежать исчезновения цифр в форматах с более низкой точностью.

Также обратите внимание на форматы Posit. Если ваше приложение выполняет только арифметические действия, близкие к числу 1, 64-битный Posit гораздо более эффективен, чем FP64, и может быть достаточно хорош.

Вопрос:
«Мне нужно использовать 128-битные числа с плавающей запятой и комплексные числа в параллельных вычислениях на графическом процессоре с использованием OpenCL или CUDA.
Есть ли способы добиться этого, не реализуя это самостоятельно? "

Нет.
Не в третьем квартале 2024 года,
не считая FPGA или SoC или смелых любителей, реанимировавших Transputer Fabrics, обходные пути для других возможных аппаратно-параллельных способов.

После множества ложных обвинений, растущих ниже, позвольте мне повторить - Ответ посвящен тому, ПОЧЕМУ это плохая идея использовать представления чисел FP в арифметических методах, которые помогают решить любую важную вещь.

Я работал над проектированием компонентов реакторного отсека атомных электростанций, над аэрокосмическими конструкциями, над математическими методами надежного решения задач оптимизации с точностью выше 200 (и все еще) допустимых цифр, решая динамические системы, которые ведут себя аналогично детерминированным псевдохаотическим системам, или над использование вычислительных моделей FEM, чтобы избежать сбоев в конструкции, всего, что не ухудшается и не должно ухудшаться из-за плохого обращения (или вообще необработки, как во многих «быстрых» решателях CFD) числовых методов и подобных случаев, когда числовое представление решает успех от неудач (красивые картинки о физической глупости не являются надежными результатами в жизненно важных дисциплинах).

Картинки могут порадовать необразованный глаз, но если наука серьезно относится к значениям (неотделимым от соответствующего ДИАПАЗОНА ОСНОВНОЙ неопределенности - не только для измеренных значений, даже самые известные значения основных констант вводят ДИАПАЗОН ОСНОВНОЙ неопределенности ~ +/- 1E-8 ), многие алгоритмы вскоре дают результаты типа N +/- oo !

Ага

Знать «ПОЧЕМУ» бесконечно более ценно, чем знать «ЭТО»:

Профессор Поспишил, советник нескольких президентов США, обычно утверждал:
"Серьезная наука создает понимание (основанное на повторяемых экспериментах).
Это позволяет делать обобщения".

"@MartinBrown , я пытаюсь нарисовать множество Мандельброта, и по мере увеличения масштаба двойное значение очень быстро пропадает, мне нужно больше чисел после точки.
_{– German Commented 18 hours ago}"

_{By Claude Heiland-Allen - Own work, CC BY-SA 4.0,
https://commons.wikimedia.org/w/index.php?curid=47022590}

Сначала факты:
(a)
Множество Мандельброта — это не «картинка», какой мы ее знаем, это бесконечно сложный математический объект, который имеет удивительно тривиальную итеративную формулировку, однако проблемы (как вы заметили) начинаются, как только мы пытаемся каким-то образом создайте его визуальное (упрощенное) представление, тем более, что вы пытаетесь «нырять» все глубже и глубже, поскольку аппаратные ограничения представления чисел начинают создавать для нас проблемы, чтобы все же вычислить хоть как-то значимые значения.

(б)
Как Кан доказал в 2001, множество Мандельброта плавно связно (!) в топологическом смысле, поэтому попытки «растрировать» его упрощенное визуальное представление в 2D-сетку создают все больше и больше проблем на более мелких и более мелкие уровни детализации (еще больше усложняет необходимость разумного представления чисел, поэтому проблемы, уже содержащиеся в объявлении (а), становятся еще больше).

(c)
Поскольку множество Мандельброта является абстрактным объектом, оно не имеет каких-либо ограничений физического мира (например, прохождения планковской длины или удара головой о главную границу принципа неопределенности Гейзенберга), поэтому огромные, принципиально бесконечные глубины Уровня Деталей невозможно избежать.

Хорошие новости :

Простота вашего выбора - используя только итератор определения членства в множестве Мандельброта, который проверяет созданное итератором значение на соответствие заданному порогу отказа, вам не нужно ничего более сложного, чем ADD()-, SUB()- и MUL()- алгебраические методы реализовано (чтобы использовать любой вид представления чисел по вашему дальнейшему выбору... в этот момент вы уже должны были осознать, что, поскольку float64 скоро ухудшится, то же самое будет и с float128, и собственное представление числа будет единственным путем вперед для «более глубокого» увеличения при построении графиков двумерных сечений множества Мандельброта).

Независимо от того, какое пользовательское представление чисел вы выберете, итератор, определяющий членство, просто использует эти простые вычисления, полученные из стандартной записи итеративного генератора
( z_n+1 = z_n² + c ):

z_RE := c_RE + ( z_RE + z_IM ) * ( z_RE - z_IM )
z_IM := c_IM + ( z_RE * z_IM * 2 )

и проверьте, если:

( z_RE * z_RE + z_IM * z_IM ) > a_giveup_threshold_SquaredCONST

Итак, нам нужно всего лишь:

8 регистров (экземпляры _{( almost )} хранилища бесконечной точности — здесь наш предел — только [SPACE]), и
4 операции (ADD, SUB, MUL, >), которые можно составить из 64-битных, 32-битных или даже 16-битных аппаратных операций на разумно используемых битовых полях.

Для этого использовалась программа по математике первого года обучения в средней школе, лицее или средней школе (названия школ различаются в разных культурных и образовательных системах разных стран), где полиномы преподавали даже для порядкового деления (чего мы не делаем). нужно здесь), — это все, что вам нужно для создания тривиального или более сложного (переменной длины) представления чисел, которое можно было бы обрабатывать параллельно, с умным использованием выбранных SIMD-инструкций (даже на графическом процессоре).

Плохие новости :

Использование хороших инструментов для задач, для которых они были изобретены, обычно помогает нам получить результаты в этой проблемной области. Использование инструмента, который подходит для чего-то другого, кроме того, что нам нужно решить, не обязательно поможет нам легче решить нашу проблему.

Это относится к оператору O/P.

«(...) используйте 128-битные числа с плавающей запятой и комплексные числа в параллельных вычислениях на графическом процессоре с использованием OpenCL или CUDA».

SM-движки графического процессора, CUDA, OpenCL были разработаны для обеспечения быстрого выполнения тривиальных математических ядер, выполнения преобразований таких вещей, как 8-битные цветовые плоскости RGB (текстурирование, локальное сглаживание и т. д.).

Если бы мы набрали это :

Написано: "Он сказал, что хочет, чтобы это произошло с ним. كل الأشياء تشبه المسمار..."

используя болгарскую, санскритскую или подобную клавиатуру,
мы потерпим неудачу,
как и при попытке «заставить» графический процессор начать работать со значениями Complex128 или Float128 так же эффективно, как он работает с 4-битными (в выводе TPU) или аналогичным образом с фиксированной разрядностью, оптимизированными на -плата СМ + аппаратная память + преобразователи языка программирования.

Все это не означает, что вы не можете получить _{( almost )} бесконечно глубокие виды секций множества Мандельброта.

Вам просто нужно будет разработать смарт-код для { ADD, SUB, MUL, < }-операторов для вашего нового, настраиваемого представления чисел, который не будет ухудшаться при более глубоком увеличении.

Все это выполнимо, используя представление чисел фиксированной или даже переменной длины, даже для переноса на COTS-фабрики графических процессоров, но также имейте в виду, что, поскольку вы, скорее всего, все равно будете прибегать к некоторому дискретному покрытию точек внутри увеличенном 2D-секции, графический процессор не повысит производительность, как вы ожидаете, поскольку когерентность потоков по определению скоро выведет ваши потоки по всей варпу из режима «Когерентного планировщика», и потоки в основном завершатся через расходящийся режим (так как «пробег» их итератора будет сильно различаться), поэтому планировщик SM графического процессора вскоре перейдет в так называемый «жадный режим», где оборудование, оптимизированное для маскировки задержки, будет работать намного хуже, чем в «когерентном режиме». «Обработка чисел SIMD в масштабах всей варпа (Закон Амдала и детали маскировки задержки графического процессора имеют большое значение).

Бонусная часть:

Мои первые эксперименты по реализации Мандельброта и наивному представлению чисел начались около 40 лет назад на 8-битных транспортных средствах Commodore C-128 (128 КБ ОЗУ в те дни было роскошным пространством (!)) и ZX Spectrum сэра Клайва Синклера (48 КБ ОЗУ). , оба используют PAL-TV в качестве дисплея.

Сегодня, используя синтаксис:

ffplay -f  lavfi        \
       -fs -i mandelbrot \
       -vf "format=gbrp,split=4[a][b][c][d],[d]histogram=display_mode=0:level_height=244[dd],[a]waveform=m=1:d=0:r=0:c=7[aa],[b]waveform=m=0:d=0:r=0:c=7[bb],[c][aa]vstack[V],[bb][dd]vstack[V2],[V][V2]hstack"

мы можем сделать гораздо больше и раскрыть новые уровни детализации и продемонстрировать дальнейшие проблемы:

• Как можно защитить замедление вычислительного процесса?
• Как «закончилась» математически неточная реализация?
• Чем «закончится» математически точная реализация и почему?
• Какие аргументы защищают структуры, наблюдаемые в ортогональных представления гистограммы являются скорее «свойствами» проецируемых плавных связная (как доказано выше) топологическая структура, чем искусственная артефакты, возникающие из-за выбранных недостатков представления чисел? Ага ;)