JQuery addClass и removeClass не работают в браузере IE 11?

Это нет только в IE вы забыли ' ' на #submitData

  $('#submitData').click(function() {
        $('#FileInfoMsg').addClass('file-infoError').removeClass('fileinfomsg');   
    });

Самостоятельно закройте свой ввод и добавьте кавычки в $('#submitData'). Ваш div имеет класс file-infomsg, но вы удаляете fileinfomsg.

Кроме того, не забудьте разрешить выполнение сценариев в IE11 (это дополнительная настройка, это должен быть всплывающий баннер в нижней части окна).

<div class = "files" id = "files">
    <span class = "sun-span">
        <i class = "icon ts-icon-paper-clip"></i>
        File
        <input title = " " type = "file" class = "files" name = "File" id = "file" multiple = "multiple" />
    </span> 

    <div id = "FileInfoMsg" class = "file-infomsg">
        You can upload a maximum of 5 files
    </div>

    <button class = "btn btn-success" type = "submit" id = "submitData">
        Submit
    </button>
</div>

<script>
    $('#submitData').click(function() {
        $('#FileInfoMsg').addClass('file-infoError').removeClass('file-infomsg');   
    });
</script>

Вам просто нужно добавить цитату к вашему объекту идентификатора $('#submitData'). Вы также можете использовать двойные кавычки.

$('#submitData').click(function() {
    $('#FileInfoMsg').addClass('file-infoError').removeClass('fileinfomsg');   
});