Как удалить второй предыдущий класс?

Вы добавляете класс ко всем предыдущим братьям и сестрам, потому что это именно то, что вы инструктируете через prevAll().

Вместо этого вы можете просто добавить этот класс в ту же строку, что и удаление класса active, при условии, что вы модифицируете селектор так, чтобы он нацеливался именно на элемент, который в настоящее время имеет active, а не на всех братьев и сестер button.

$(this).siblings(".active").removeClass("active").addClass('previous');

Кроме того, ваше условие не нужно, поскольку оно всегда будет принимать значение true:

if ($(this).hasClass("active")) { //<-- always true - we added the class in the previous line

Собираем все вместе:

$(".btn").focus(function(){
    $(this).siblings(".active").removeClass("active").addClass('previous');
    $(this).addClass("active");
    $(".previous").last().addClass("previousButton");
});

Или, чтобы еще больше сократить код, можно объединить первую и вторую строки внутри обратного вызова:

$(this).addClass("active").siblings(".active").removeClass("active").addClass('previous');

Поскольку я не знаю jQuery, я бы предложил простое решение на JavaScript. (вы можете легко перевести это, так как логика довольно проста).

const buttons = document.getElementsByClassName('btn');

for (let i=0; i<buttons.length; i++) {
  buttons[i].addEventListener('click', function(event) {
    // clear all previous buttons
    const prevButton = document.getElementsByClassName('previous')[0];
    
    if (prevButton) prevButton.setAttribute('class', 'btn');
  
    // add previous class to active button
    document.getElementsByClassName('active')[0].setAttribute('class', 'btn previous');
    
    // add active class to current clicked button
    event.target.setAttribute('class', 'btn active');
  });
};

.active { color:green; } 
.previous { color: red; }

<div class = "buttons">
          <button class = "btn active">1. Page</button>
          <button class = "btn">2. Page</button>
          <button class = "btn">3. Page</button>
          <button class = "btn">4. Page</button>
          <button class = "btn">5. Page</button>
 </div>