Tensorflow Adam с переменными границами
Я использую метод Tensorflow Adam для оптимизации стохастической функции, которая (почти) не имеет ничего общего с нейронными сетями, а скорее с вероятностным выводом.
Адам неплохо справляется с поиском глобальных оптимумов функции стоимости, однако мои переменные — ограниченный, и у Адама нет возможности реализовать границы, так как это неограниченный метод оптимизации. В моем случае я хотел бы, чтобы все переменные были положительными.
Как вообще можно добавить границы к методам, основанным на стохастическом градиентном спуске? Есть ли уже реализованные решения чего-то, что я считаю довольно распространенной проблемой?
Ответы 1
Вы можете добавить фиктивные переменные, чтобы обеспечить соблюдение границ. Например, предположим, что вы хотите, чтобы a был положительным, вы можете ввести переменную b и вычислить
a = log(1 + exp(b))
Другой пример: если вы хотите, чтобы c находился внутри a и b, вы можете ввести d и вычислить
c = a + (b - a) / (1 + exp(-d))
@linello не совсем так, извини. Я видел, как этот трюк используется время от времени, но никогда не нашел ничего, что говорило бы об этом конкретно.
Интересно, а у вас есть какая-то ссылка на лучшее понимание?