Запретить роботу googlebot сканировать фильтры woocommerce

Бот Google сканирует параметры фильтра товаров, например:

/магазин/?filter_size=10

/магазин/?filter_color=красный

/shop/?filter_color=синий?filter_size=20

Я попытался добавить следующие правила в файл robots.txt, но я все еще вижу, что Google все еще сканирует такие URL-адреса с помощью фильтров.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Disallow: /wp-json/
Disallow: /cart/
Disallow: /wishlist/
Disallow: /checkout/
Disallow: /my-account/
Disallow: *?filter_color=* 
Disallow: *?filter_size=* 
Disallow: *?min_price=* 
Disallow: *?max_price=*
Disallow: /*add-to-cart=*

Я использую плагин WooCommerce и Yoast.

Я включил в Yoast только индексацию страниц/продуктов/product_cat.

Это вызывает высокую загрузку процессора на сервере, а также они не имеют значения для сканирования.

Как запретить Google сканировать фильтры магазина?..

wordpress woocommerce googlebot google-crawlers yoast

10.12.2020 18:00

Как убрать количество товаров в категории WooCommerce

По умолчанию WooCommerce показывает количество товаров рядом с категорией, как показано ниже.

Использование ob_flush() в PHP при ожидании cURL

996

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

поэтому, осмотревшись, лучший способ сделать это — заблокировать страницу магазина от сканирования.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot
Disallow: /shop
Disallow: /?s=
Disallow: /search
Disallow: /wp-json
Disallow: /cart
Disallow: /wishlist
Disallow: /checkout
Disallow: /my-account
Disallow: /*?*

Я заметил, что вы удалили косую черту из Disallow: /cart/ в Disallow: /cart. Каково значение этого? Пожалуйста, направляйте. Спасибо

— 20.12.2020 07:01

Почему бы просто не добавить Disallow: /*?*? Источник

— 11.07.2021 18:49

10.12.2020 23:47