Показват се всичките ми уеб страници ?mode=grid & ?mode=list в покритието на google. Но изпратената карта на сайта показва нормални URL адреси. Например:

  1. example.com/page/?mode=grid
  2. example.com/page/?mode=list
  3. example.com/page/ ---> [url в карта на сайта]

И robots.txt има команда Disallow: /*? което доведе до блокиране на всички уеб страници от индекс. Не искам да премахвам командата disallow. Как мога да получа индексирани уеб страници, ще се покаже команда за премахване ?mode=grid & ?mode=list в търсенията в Google. Също така това е уебсайт на WordPress.

  • 1 Деактивирането в robots.txt не блокира индексирането, а само обхождането. Google обикновено няма да индексира URL адреси, които не може да обходи, но понякога го прави
  • Освен това, ако Google не може да обходи, той не може да види вашия каноничен маркер. Така че не знае, че това е грешен URL адрес за индексиране.

Мислейки извън кутията, може да успеете да приложите регулярни изрази към вашия robots.txt файл, за да забрани всякакви променливи параметри като https://example.php/?p=x. Възможно е да можете да филтрирате въпросителния знак, показващ променлива във вашия robots.txt с регулярно изражение в самия файл. Всъщност просто погледнах това и въпреки че robots.txt файлът не позволява регулярни изрази, изглежда, че роботите на Google позволяват съвпадение на шаблони. Това може да е отговорът, който търсите. Вижте https://searchengineland.com/a-deeper-look-at-robotstxt-17573

  • Защо предлагате регулярно изражение, преди да кажете, че robots.txt не ги поддържа?

е работил за вас: Charles Robertson | Искате ли да се свържете с нас?