Gravitas: САЩ нарежда на чуждестранни студенти да напуснат

Моят robots.txt изглежда по следния начин:

User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php 

Google Webmaster Tool наскоро изведе предупреждение, казвайки:

Indexed, though blocked by robots.txt 

Предполагам Забранете на ниво папка е презаписване на ниво файл Позволява. Какъв е начинът да се заобиколи това?

  • Не мисля така. Google разпозна, че е блокиран, но все пак продължи. Това е гигантски WTF!
  • Google може да индексира страници въз основа на връзки към тях, а не като ги обхожда. Само защото Google индексира URL адреса, това не означава, че го е обработил, като го обхожда.
  • Опитвали ли сте да използвате инструмента за тестване на robots.txt на Google?
  • Здравей @StephenOstermiller .. имам и инструментът подчертава реда Disallow, в който се посочва, че /wp-admin/admin-ajax.php не може да бъде достъпен от GoogleBot
  • Опитвали ли сте да пренареждате директивите? Мислех, че googlbot използва най-дългата евристична линия, но може би редът има значение. Или може би са спрели да подкрепят нестандартните правила за разрешаване.

е работил за вас: Charles Robertson | Искате ли да се свържете с нас?