Сколько итераций необходимо для оптимизации на основе модели (в mlrmbo)?

Я хотел бы использовать оптимизацию на основе модели в пакете mlr в R (mlrMBO) для настройки моих гиперпараметров. Сколько итераций здесь рекомендуется? Я читал, что количество необходимых итераций в MBO зависит от количества гиперпараметров, которые следует умножить на определенный коэффициент?

5
0
181
1

Ответы 1

К сожалению, на этот вопрос нет общего ответа. Помимо количества гиперпараметров, сложность задачи и общий ландшафт оптимизации влияют на то, сколько итераций может потребоваться. Кроме того, это зависит от того, какой уровень производительности вы ищете - если вам абсолютно необходима лучшая производительность, вам может потребоваться много итераций (тысячи или больше).

Хорошее практическое правило - определять количество итераций на основе имеющихся у вас ресурсов. Вам нужен ответ через несколько минут или вы можете оставить его на ночь? Я бы начал с небольшого тестового прогона с несколькими итерациями, чтобы понять, сколько времени это займет в вашем конкретном случае, а затем установил количество итераций для реального прогона на основе этого и сколько времени вы хотите потратить на это.

Также неплохо выполнить несколько запусков с разными случайными начальными числами, одинаковым количеством итераций, одним и тем же случайным начальным числом и разным количеством итераций. Это покажет вам, насколько больше производительности вы можете получить, если будете бегать дольше, например если нет разницы для 100 и 1000 итераций, то дополнительные попытки не окупятся.

Другие вопросы по теме