Как да добавя сайт в търсене Google и Яндекс | SEOquick

User-agent: * Disallow: /robots.txt 

Какво ще стане, ако направите това? Ще обхождат ли търсачките robots.txt веднъж и след това никога повече да не го обхожда?

  • 1 Това може да причини безкраен цикъл и да разтопи интернет: o)
  • 2 Каква е целта да попитам това - направено ли е по погрешка, или възнамерявате нещо друго? Очевидно търсачката трябва първо да обходи вашия файл robots.txt, така че вероятно просто ще игнорира тази директива. Можете, разбира се, да го тествате с тестера robots.txt на Google, който ще подчертае предупрежденията за синтаксис и логическите грешки (последните от които вероятно биха попаднали).

Директивите Robots.txt не се прилагат за самия robots.txt. Роботите могат да изтеглят robots.txt, дори ако той се самозабранява.

Всъщност е много често robots.txt да се забранява. Много уебсайтове забраняват всичко:

User-Agent: * Disallow: / 

Този примамлив да забрани всичко ще включва robots.txt. Аз самият имам някои уебсайтове като този. Въпреки че забраняват всичко, включително robots.txt, ботовете на търсачките периодично опресняват файла robots.txt.

Джон Мюлер от Google наскоро потвърди, че Googlebot все още обхожда забранен файл robots.txt: Забраната на Robots.txt в Robots.txt не оказва влияние върху това как Google го обработва. Така че, дори ако сте извикали специално Disallow: /robots.txt, Google (и подозирам, че други търсачки) не биха променили поведението си.

  • 2 Единственото нещо, което това би повлияло, е ако линк сочи към robots.txt и в противен случай Google ще индексира съдържанието на файла robots.txt. Това не би било възможно, когато е забранено от robots.txt. Изключително рядко има полезно съдържание (за търсене / индексиране) във файл robots.txt (мисля, че съм виждал може би 2 случая през годините и и двамата вече са изчезнали), толкова малко вероятно, че някога бихте го направили пропуснете нещо.
  • 2 @JohnMueller Току-що имахме случай на индексиране на самия robots.txt в Google CSE. Поне сега знам как да отговоря на този въпрос. webmasters.stackexchange.com/questions/117536/…

е работил за вас: Charles Robertson | Искате ли да се свържете с нас?