Как я могу добавить класс для div внутри функции javascript

Вы можете добавить класс в div после добавления, например:

    function jsFilt(value) {
                   document.getElementById("myDiv").innerHTML = "";
                    value.AGENCY.forEach(agency => {
                        $("#myDiv").append(
                            "<strong>Adress : </strong> " + agency.ADRESS_TEXT + "<br> "+
                            "<strong>Phone :</strong>  " + agency.phone + "<br></div>"
                        ).addClass("CLASSNAME1 CLASSNAME2");
                    });
                }

Как говорили другие, есть два пути: .addClass('classname1 classname2') и .attr('class','classname1 classname2'), но addClass лучше

в вашем случае будет так:

function jsFilt(value) {
  console.info('running jsFilt');
  //document.getElementById("myDiv").innerHTML = "";
  $('#myDiv').html(''); // this is jquery way of doing it
  console.info('myDiv is now empty');

  value.AGENCY.forEach(agency => {
    console.info('inside loop');
        //first we create that div and give it class and style
        const $div = $('<div></div>').addClass('xxx').attr('style','border-style:ridge;');
        // here we set innerHTML
        $div.html(`
            <strong>Agency Name :</strong>  ` + agency.agency_name + `<br>
            <strong>Adress : </strong> ` + agency.ADRESS_TEXT + `<br>  
            <strong>Phone :</strong> ` + agency.phone + `<br>
        `);

        console.info('here is the div we created:',$div);

        // here we append it to the container (#myDiv)
        $("#myDiv").append($div);
        console.info('this is how myDiv looks like now', $("#myDiv"));
    });
}

убедитесь, что вы вызываете функцию, конечно jsFilt(someValue)

Я добавляю немного console.info('bla bla') в свои коды, если вы откроете консоль браузера, вы увидите распечатку некоторых сообщений, и это поможет вам отследить проблему. после того как все заработало можно убрать console.info()s

Так что это может работать или может иметь некоторые синтаксические ошибки. Дайте мне знать, если вы можете заставить его работать