Генератор на Sitemap: Помощна програма за безплатен софтуер за създаване на HTML или текстови Sitemap

Така че ми беше възложено да разгледам нашата SEO (област, в която имам някои, но не невероятна компетентност) и първото нещо, което забелязах, е, че в нашия файл robots.txt се казва следното:

# go away User-agent: * Disallow: / 

Сега съм доста компетентен да чета компютър и доколкото мога да разбера, това казва, че ВСИЧКИ паяци не трябва да гледат НИЩО в основната директория или по-долу.

Правилно ли чета това? Защото това просто изглежда безумно.

Може би някой не е искал да плаща за трафика на паяци?

Независимо, четете го правилно:

http://www.robotstxt.org/robotstxt.html

Собствениците на уебсайтове използват файла /robots.txt, за да дадат инструкции за своя сайт на уеб роботи; това се нарича Протокол за изключване на роботи. Работи по следния начин: робот иска да посети URL на уебсайта, да речем http://www.example.com/welcome.html. Преди да го направи, първо проверява за http://www.example.com/robots.txt и намира:

 User-agent: * Disallow: / 

The 'User-agent: *' означава, че този раздел се отнася за всички роботи. The 'Disallow: /' казва на робота, че не трябва да посещава страници на сайта.

Поставих този вид robots.txt на място при първото разработване на сайт, защото не искам той да бъде индексиран от Google и други, преди да е готов.

Също така забравих да редактирам това, след като сайтът излезе на живо. * facepalm *

  • Проблемът с това е, че това е сайт за компания за уеб дизайн за милиони долари, с над 35 служители, която съществува повече от 15 години!
  • Ммм, дросел, ROFL

е работил за вас: Charles Robertson | Искате ли да се свържете с нас?