Промежуточное ПО Prerender.io, которое вы устанавливаете на свой сервер, будет проверять каждый запрос, чтобы убедиться, что это запрос от сканера.