Не работает валидация во второй раз

Мой код должен переключать цвет на красный и обратно после щелчка, но он работает только один раз!

<div class = "time-block">00:00 - 00:59</div>

Класс "red-my-day" для переключения цвета, добавляя или удаляя его.

function addTimeBlocksHandler() {
    let arrTimeBlocks = document.getElementsByClassName("time-block");

    for (let i = 0; i < arrTimeBlocks.length; i++) {
        if (document.getElementsByClassName("time-block")[i].classList.contains("red-my-day")) {
                arrTimeBlocks[i].addEventListener("click", () => {
                document.getElementsByClassName("time-block")[i].classList.remove("red-my-day");
            });
        } else if (!document.getElementsByClassName("time-block")[i].classList.contains("red-my-day")) {
            arrTimeBlocks[i].addEventListener("click", () => {
                document.getElementsByClassName("time-block")[i].classList.add("red-my-day");
            });
        }
    }


}

addTimeBlocksHandler();

Почему это работает один раз, переключитесь на красный цвет и все?