Почему robots.txt важен? Безопасно ли иметь веб-сайт без robots.txt?
При парсинге веб-страниц robots.txt имеет значение и даже регулирует поведение. Но для веб-сайта node.js необходимо иметь robot's.txt? Далее, что такое карта сайта и зачем она нужна, как я нашел в приведенном ниже примере?
User-Agent: *
User-agent: Googlebot-Image
Disallow: /*/ivc/*
Disallow: /users/flair/
Disallow: /jobs/n/*
Disallow: /jobs/a/*
Disallow: /jobs/companies/n/*
Disallow: /jobs/companies/a/*
Sitemap: https://stackoverflow.com/sitemap.xml
я прошел через несколько ссылок и хотел краткое решение. Кроме того, если у меня нет robots.txt, мой сайт более подвержен опасности?
Этот вопрос касается SEO, который не относится к теме Stack Overflow. Пожалуйста, прочтите "Какие SEO-вопросы следует закрывать как не связанные с программированием/не связанные с администрированием?" чтобы лучше понять, когда здесь можно задавать SEO-вопросы (большинство — нет) и где вы можете получить помощь. В следующий раз, пожалуйста, прислушайтесь к предупреждению и не задавайте здесь вопросы, не связанные с SEO.
Ответы 1
sitemap — это XML-файл, который содержит список всех веб-страниц на вашем сайте, а также метаданные (метаданные — это информация, относящаяся к каждому URL-адресу). Точно так же, как работает файл robots.txt, карта сайта позволяет поисковым системам просматривать индекс всех веб-страниц на вашем сайте в одном месте.
для получения дополнительной информации проверьте этот пост youbiquity.co.uk/articles/content-hub/….
Спасибо! и извините за поздний ответ, но можете ли вы сказать мне, что отсутствие robots.txt вызывает какие-либо проблемы с безопасностью?
Нет проблем с безопасностью, это помогает улучшить производительность SEO.
Анкит спасибо за помощь. Пожалуйста, проголосуйте за вопрос, чтобы помочь мне, так как мне запрещено задавать вопрос из-за этого вопроса. Заранее спасибо.
Читайте о robots.txt: Developers.google.com/search/docs/advanced/robots/intro Читайте о картах сайта: Developers.google.com/search/docs/advanced/sitemaps/overview