Robots.txt
Robots.txt (протокол исключения роботов) — это текстовый файл, размещаемый в корне домена веб-сайта и содержащий инструкции для соответствующих веб-роботов (например, поисковых роботов) о том, какие страницы сканировать, а какие не сканировать, а также другую…
Вопросы111