'не является функцией' при вызове метода в той же функции-конструкторе (JS)

Когда вы используете function() { ... }, он меняет то, что есть this, находясь внутри функции. Вам нужно либо привязать функцию к this, либо использовать стрелочную функцию () => { ... }.

Использование привязки:

var handleClick = function() {
    this.close();
};

this.dialog.onclick = handleClick.bind(this)

Использование функции стрелки:

this.dialog.onclick = () => {
    this.close();
}

Попробуйте использовать close () {} вместо this.close = function () {}. См. Пример ниже.

function Dialog() {
    close(){
        //code
    };

    this.dialog = document.createElement("div");
    this.dialog.onclick = function() {
        this.close();
    }

    document.body.appendChild(this.dialog);
}

var test = new Dialog();