Почему мой сайт Astrojs заблокирован от индексации?
Я размещаю веб-сайт Astrojs на Netlify. Я продолжаю получать низкую оценку SEO по причине того, что страница заблокирована от индексации. Изображение прикреплено ниже.
Я следую шагам, упомянутым в документации, но это не кажется эффективным. Для контекста вот как выглядит мой главный тег макета:
<head>
<meta charset = "UTF-8" />
<link rel = "icon" type = "image/svg+xml" href = "/swift-logo.svg" />
<meta name = "viewport" content = "width=device-width, initial-scale=1.0" />
<link rel = "preconnect" href = "https://fonts.googleapis.com" />
<link rel = "preconnect" href = "https://fonts.gstatic.com" crossorigin />
<meta
name = "description"
content = "My page"
data-rh = "true"
/>
<link rel = "sitemap" href = "/sitemap-index.xml" />
<meta name = "robots" content = "index,follow" />
<title>{title}</title>
</head>
Это файл robots.txt, который находится у меня в общей папке.
User-agent: *
Allow: /
Sitemap: https://mysite.netlify.app/sitemap-index.xml
Я также пробовал использовать этот пакет, но это не сработало.
Имейте в виду, что в моем коде нет места noindex. Даже в главном элементе
размещенного веб-сайта при проверке с помощью инструментов разработчика.
Если вам нужен дополнительный контекст, пожалуйста, дайте мне знать. Буду признателен за любую помощь!
Чтобы просмотреть заголовки, используйте curl из curl.se в командной строке: curl --head https://mysite.netlify.app/
Ответы 1
Как упомянул @mb21 в своем комментарии, оказывается, что я проверял свою страницу предварительного просмотра netlify, а не производственную... Это немного странно, поскольку я использую CI/CD, и я предполагал, что изменения будут автоматически перенесены в основной URL-адрес «https://mysite.netlify.app», но оказалось, что я могу проверить производственное развертывание с помощью кнопки (см. изображение ниже), которая приведет меня к «https://main--mysite. netlify.app", где размещается производственное развертывание.
Итак, теперь я получаю 100 баллов по SEO на основном сайте :D
Имейте в виду, что когда я просматриваю свои прошлые развертывания и пытаюсь получить «предварительные просмотры развертываний», я не получаю никаких результатов, поэтому все мои предыдущие развертывания являются «основными».
x-robots-tag— это HTTP-заголовок. У вас статическая страница или SSR? и вы видите это при развертывании или предварительном просмотре вашего производственного netlify? Кажется, есть ряд возможных причин.