Сохранение ширины элемента статической после удаления другого элемента, но при этом остающейся отзывчивой

У меня есть кнопка с текстом, и когда пользователь нажимает кнопку, я заменяю ее символом загрузки. Когда я удаляю текст внутри кнопки и заменяю его счетчиком, кнопка сжимается.

Я создал файл рабочий пример вопроса.

Я знаю, что могу просто добавить к элементу фиксированную ширину, однако страница реагирует вплоть до 300 пикселей. Я также знаю, что могу добавить медиа-запросы для решения этой проблемы, но мне интересно, есть ли более простой способ с помощью LESS или vanilla CSS справиться с этим без всех медиа-запросов?

Вот моя базовая установка:

<button>
  <span class = "hidden-conditionally">
    Click here to perform an action!
  </span>

  <span id = "spinner" class = "displayed-conditionally">
    Loading...
  </span>
</button>