Начинът тайно да мамиш с диета и пак да губиш телесни мазнини

Имам една папка с име Frontend и под тази папка имам имена на подпапки. Като:

Images CSS JS Font 

Искам да забраня папката отдолу:

/forntend/css/ /forntend/js/ /forntend/font/ 

но не искам да забраня /forntend/images/ или /forntend/

Ако добавям този текст към robots.txt. Правилно ли е или не?

Disallow: /forntend/css/, Disallow:/forntend/js/, Disallow: /forntend/font/ 

  • "forntend" или "Frontend"?
Disallow: /forntend/css/, Disallow:/forntend/js/, Disallow: /forntend/font/ 

Не трябва да има запетая (,) в края на път аргумент. (Това не е масив от елементи.) EOL отделя всяка директива. Директивата има съвпадение на префикси, така че всяко последващо , (запетая) ще съответства на буквална запетая.

Не се изисква, но трябва да оставите интервал след името на директивата за четливост и последователност. т.е. Disallow: /forntend/js/, не Disallow:/forntend/js/.

Очевидно ви трябва User-agent: директива в началото на тази група, в противен случай тези директиви ще бъдат игнорирани.

Пътят също така чувствителен на малки и големи букви, така че /forntend/css/ няма да съвпадне /Forntend/css/mystyles.css.

В противоречие с препоръките на Google да блокираме CSS и JavaScript (и вероятно Font) файлове, които засягат изобразяването на страницата, тъй като това също така пречи на Google да изобрази (и следователно да индексира) страницата правилно. Както е отбелязано в помощните документи на Google:

ако отсъствието на тези ресурси затруднява страницата да проучи страницата на Google, не бива да ги блокирате, иначе Google няма да свърши добра работа по анализиране на страници, които зависят от тези ресурси.

Така че, горното трябва да бъде написано като:

User-agent: * Disallow: /forntend/css/ Disallow: /forntend/js/ Disallow: /forntend/font/ 

Това блокира всички роботи от пълзене всички URL адреси, които започват /forntend/css/, /forntend/js/ или /forntend/font/ и позволява всичко останало. „Разрешаване“ е поведението по подразбиране.

Имайте предвид, че това предотвратява „обхождането“, не е задължително да предотвратява „индексирането“, ако URL адресът е свързан с други сайтове. Както е отбелязано в помощните документи на Google:

Роботирана страница все още може да бъде индексирана, ако е свързана от други сайтове

Тествайте с Google robots.txt тестер инструмент в GSC.

  • https://support.google.com/webmasters/answer/6062598?hl=bg

Допълнителна справка:

  • https://support.google.com/webmasters/answer/6062608?hl=bg
  • https://developers.google.com/search/reference/robots_txt
  • 1 robots.txt също е правописна чувствителна, така че те трябва да проверят двойно "frontend" срещу "forntend".

е работил за вас: Charles Robertson | Искате ли да се свържете с нас?

Полезна информация