Как получить querySelector для имени, содержащего числа

Вы можете использовать это решение:

const headers = document.querySelectorAll("[id^='header_']");

const titles = [];

headers.forEach((header) => titles.push(header.getAttribute('title')));

// Do something you want with titles array

Если я вас правильно понял, попробуйте что-то вроде этого:

#select h1 elements with id attribute whose value begins with "header"
headers = document.querySelectorAll("[id^='header_']");

#loop through the elements and extract the part of the attribute value following "_"
for (let header of headers) {
  target = header.getAttribute('id').split('_')[1]

  #check for the presence of a digit
  if (/\d/.test(target)) {
    console.info(header.getAttribute('title'))
  }
}

Вы можете применить регулярное выражение для фильтрации, как это

var divs = [].slice.call(document.querySelectorAll("[id^='header_']")).filter(function(el){
   return el.id.match(/^header_[0-9]+/i);
});

console.info(divs);

<div id = "header_1"></div>
<div id = "header_2"></div>
<div id = "header_3"></div>
<div id = "header_abc"></div>
<div id = "header_xyz"></div>