Мой файл robots.txt следующий:
User-agent: *
Disallow: /user/*
Disallow: /invitations/*
Disallow: /api/*
#Adsense crawler
User-agent: Mediapartners-Google
Disallow:
Разрешено ли сканеру "Медиапартнеры-Google" сканировать все страницы?
Или первая строка моего файла robots.txt User-agent: *
будет препятствовать доступу всех поисковых роботов (включая Mediapartners-Google) к указанным выше корням, даже если в конце файла есть следующие строки:
User-agent: Mediapartners-Google
Disallow:
Другими словами - имеет ли значение порядок правил в robots.txt - как в моей ситуации?
Кажется, я нашел ответ. И ответ - порядок не имеет значения, потому что:
In a robots.txt file with multiple user-agent directives, each disallow or allow rule only applies to the useragent(s) specified in that particular line break-separated set. If the file contains a rule that applies to more than one user-agent, a crawler will only pay attention to (and follow the directives in) the most specific group of instructions.
Источник: https://moz.com/learn/seo/robotstxt
Порядок не имеет значения, и вы можете проверить его, используя Консоль поиска в разделе роботов. Измените порядок и проверьте несколько страниц, посмотрите, нет ли чего странного.