Javascript Regexp - соответствует шаблону строки, кроме случаев, когда строка находится внутри указанного тега

JavaScript по своей сути не поддерживает ретроспективный анализ. Для этого вам нужно будет запустить .match (), а затем для каждого из ваших совпадений вам нужно будет выполнять совпадения с вашими тегами (например, /<a\s+.*?>/ находится непосредственно перед ваш матч, а затем </a> после вашего матча).

Удачи!!

Не совсем понятно, над каким «HTML» вы работаете. Если это HTML код, возможно, что-то из запроса Ajax, тогда вы можете использовать регулярное выражение; сопоставление ссылки или же с шаблоном, а затем решить, что делать в обратном вызове:

var html = document.body.innerHTML;
html = html.replace(/(<a\s.*?>.*?</a>)|(\?\?\?([a-z0-9.]*)\?\?\?)/g, 
    function ( a, b, c, d ) {
       return ( a[0] == '<' ) ? a : '<a href = "#">' + d + '</a>'; 
    });
context.innerHTML = html;

Удобно использовать replace()может принимать функцию обратного вызова в качестве генератора замены, а не простой строки.

Однако, если вы работаете с живым деревом DOM, вы можете учитывать события на узлах, а не просто перезагружать innerHTML. Для этого вам понадобится более примитивный подход:

// returns all childnodes of type text that do not have A as parent
function walker ( node ) {
  var nodes = [];
  for (var c, i = 0; c = node.childNodes[i]; i++) {
    if ( c.nodeType === 1 && c.tagName !== 'A' ) {
      nodes = nodes.concat( arguments.callee( c ) );
    }
    else if ( c.nodeType === 3 ) { 
      nodes.push( c );
    }
  }
  return nodes;
}

var textNodes = walker( document.body );
for (var i = 0; i < textNodes.length; i++) {
  // create an array of strings separating the pattern
  var m = textNodes[i].nodeValue.split( /(\?\?\?([a-z0-9.]*)\?\?\?)/ );
  if ( m.length > 1 ) {
    for (var j=0; j<m.length; j++) {
      var t, parent = textNodes[i].parentNode;
      // create a link for any occurence of the pattern
      if ( /^\?\?\?([a-z0-9.]*)\?\?\?$/.test( m[j] ) ) {
        var a = document.createElement( 'a' );
        a.href = "#";
        a.innerHTML = RegExp.$1;  // m[j] if you don't want to crop the ???'s
        parent.insertBefore( a, textNodes[i] );
        t = document.createTextNode( ' ' ); // whitespace padding
      }
      else {
        t = document.createTextNode( m[j] );
      }
      parent.insertBefore( t, textNodes[i] );
    }
    // remove original text node
    parent.removeChild( textNodes[i] );
  }
}

Этот метод затрагивает только текстовые узлы и только те, которые соответствуют шаблону.