Рекомендации (функции/решения) для применения в OpenMDAO вместо логических условий (if/else)

Я обычно обращался к таблице функций активации в Википедии: https://en.wikipedia.org/wiki/Activation_function

Мне повезло с сигмоидой и гиперболическим тангенсом, масштабируя их так, чтобы мы могли выбрать нижнее и верхнее значения, а также выбрать положение активации на оси x и крутизну.

Dymos использует векторизацию, которая, как мне кажется, похожа на OpenConcept, и я также добился успеха с numpy.where, предоставляя производные для каждой возможной «ветки». Это правда, что у вас могут возникнуть проблемы с несоответствием производных, если у вас есть точка анализа прямо на переходе, но часто, несмотря на это, я добивался успеха. Если производная на переходе становится помехой, то более подходящей является реализация сигмоиды или relu.

Если x имеет такую ​​величину, что может вызвать переполнение, рассмотрите возможность применения единиц или масштабирования, чтобы поместить его в разумные пределы, если вы не можете напрямую связать его.

Я мог бы дать вам более полный ответ, если бы вы перевели свой вопрос на конкретный пример кода функции, с которой вы боретесь, и ее ожидаемый диапазон ввода. Если вы предоставите этот образец кода, я обновлю свой ответ.

В целом, это обычная проблема при использовании оптимизации на основе градиента. Вы хотите, чтобы какое-то поведение, такое как условие, включало/выключало что-то, и во многих случаях это принципиально прерывистая функция.

Чтобы обойти это, мы часто используем сигмовидные функции, но они имеют некоторые числовые проблемы, на которые вы указали. В качестве альтернативы вы можете попробовать гиперболический тангенс, хотя он может столкнуться с теми же проблемами.

Я дам вам два широких варианта:

Опция 1

иногда нормально (даже если не идеально) оставить в коде чисто дискретное условное выражение. Допустим, вы хотели представить простую кусочную функцию:

y = 2x; x>=0 

y = 0; x < 0

В этой функции есть острый угол прямо в 0. Этот угол не дифференцируем, но в остальном функция в порядке. На практике это очень похоже на функцию абсолютного значения, хотя вы можете не провести аналогию, глядя на кусочное определение функции, потому что кусочная природа abs часто скрыта от вас.

Если вы знаете (или, по крайней мере, можете проверить постфактум), что ваш окончательный ответ не будет лежать прямо или очень близко к этому разрыву C1, то, вероятно, можно оставить код таким, какой он есть. Ваши производные будут хорошо определены везде, кроме 0, и вы можете просто выбрать левый или правильный ответ для 0.

Это не совсем математически правильно, но работает нормально, пока вы не застряли прямо здесь.

Вариант 2

Примените функцию сглаживания. Это может быть сигмоида или простой многочлен. Точная природа функции сглаживания сильно зависит от типа разрыва, который вы пытаетесь аппроксимировать.

В случае кусочной функции выше у вас может возникнуть соблазн определить эту функцию как:

2x*sig(x)

Это дало бы вам примерно правильное поведение и было бы везде дифференцируемым. Но вольфрам альфа показывает, что на самом деле немного недотягивает. Это, вероятно, нежелательно, поэтому вы можете увеличить показатель степени, чтобы смягчить это. Однако именно здесь вы начинаете получать проблемы с недостатком и переполнением.

Таким образом, чтобы обойти это и сделать функцию с лучшим поведением, вы могли бы вместо этого определить кусочный полином из трех частей:

y = 2x; x>=a 

y = c0 + c1*x + c2*x**2; -a <= x < a

y = 0 x < -a

вы можете найти коэффициенты как функцию a (пожалуйста, дважды проверьте мою алгебру, прежде чем использовать это!):

c0 = 1.5a

c1 = 2 

c2 = 1/(2a)

Преимущество этого подхода в том, что он никогда не выйдет за рамки допустимого и не станет отрицательным. Вы также можете сделать a достаточно маленьким и получить приличные числа. Но если вы попытаетесь сделать его слишком маленьким, c2 явно взорвется.

В общем, я считаю сигмовидную функцию несколько тупым инструментом. Во многих случаях он отлично работает, но если вы попытаетесь слишком приблизить его к ступенчатой ​​функции, это станет кошмаром. Если вы хотите представить физические процессы, я считаю, что функции полиномиального скругления работают лучше.

Требуется немного усилий, чтобы вывести этот многочлен, потому что вы хотите, чтобы он был непрерывным c1 на обеих сторонах кривой. Таким образом, вы должны построить систему уравнений для ее решения в зависимости от полиномиального порядка и конкретной релаксации, которую вы хотите (здесь 0,1).