Изглежда, че има много примери за robots.txt Crawl-Delay за Yahoo Slurp до 2 часа, това ли е, защото Yahoo Slurp има тенденция да забива уебсайт и да увеличава натоварването на сървъра?

"Hammer" е субективен, но изглежда има общо убеждение, че Slurp е, да кажем ... може би малко по-агресивен, отколкото всъщност трябва и че продължава от години, т.е. 2007, 2009, 2011. Основно търсене на нещо като slurp robots delay ще се появи гигантска купчина оплаквания.

В случай, че всъщност се изкушите блок Slurp, както е предложено на една от тези връзки, може да искате да видите и този скорошен въпрос тук за различен подход.

• Друго нещо, което трябва да се вземе предвид, е, че оплакванията във форума (поне темата от 2011 г., която прочетох) са от потребители, които най-вече излизат като малко безразсъдни и също се оплакват само за да се оплачат.
• 2 Малко прашен, но този въпрос за Meta Stack Overflow помага да го обясня.

Да, от личен опит Slurp е агресивен. Baidu още повече.

Ако вашият уебсайт може да издържи индексирането на Google, Bing, Slurp и Baidu в рамките на една и съща седмица, докато обслужва вашите клиенти или зрители на съдържание с минимално забавяне, доста добре сте избрали спецификациите на вашата платформа и софтуерните настройки.