Въпроси и отговори за дигиталния маркетинг - Излизания на Hump Day - Епизод 179 Повторение

Имам директория, пълна с .txt файлове, които се използват като част от по-голямо приложение на javascript. Текстовите файлове не са предназначени за директен достъп и се използват като включени на отделни страници като част от функционалността на приложението).

И така .. Добавих директорията към моя файл robots.txt, защото не искам файловете да се показват независимо в резултатите от търсенето.

Въпреки това robots.txt просто прави .txt файловете недостъпни за роботи. Това всъщност не прави .txt файловете неиндексируеми.

Това, което наистина искам да направя, е да "noindex" .txt файловете. Но .txt файловете не са като .html файлове .. в текста ще се вижда метамаркер noindex.

И така, как човек "noindex" файл, който е суров текст, без да се повреди текста с етикет?

Има ли някакъв друг начин да noindex текстов файл, външно? Или noindex общата директория?

Решението е същото като за X-Robots noindex папка с PDF файлове и предотвратяване на показване на XML карти на сайта в резултатите от търсенето с Google. Използвате X-Robots-Tag HTTP заглавка, а не мета маркер. HTTP заглавката, предоставена с txt файла, трябва да изглежда така:

X-Robots-Tag: noindex 

След внедряване на HTTP заглавката, премахнете забраната от вашия robots.txt. За да могат роботите да виждат и почитат заглавката, трябва да направите txt файловете за обхождане.

---

Под уеб сървърите на Apache (най-споделен хостинг) поставете следния код в .htaccess файл в директорията, съдържащ .txt файлове:

 Header set X-Robots-Tag 'noindex'  

---

Ако използвате nginx, вашата конфигурация ще трябва да съдържа (източник):

location ~* ^/txtfiledir/.*\.txt$ { add_header X-Robots-Tag 'noindex'; } 

---

Ако използвате IIS като уеб сървър, конфигурацията ще трябва да съдържа (източник):

• Има ли нещо, което пропускам във въпроса, което предполага, че OP използва уеб сървър на Apache?
• @DavidZ Ами .. "Оказва се, че е било добро предположение :)
• 1 Apache е най-често срещаният уеб сървър, особено за споделен хостинг на ниво начинаещи, така че винаги е добро предположение. Добавих и конфигурация на nginx и IIS, така че този въпрос ще бъде полезен за повече хора в бъдеще.
• Разбира се, и благодаря за редакцията. Току-що го повдигнах от загриженост за хора, които не използват Apache и може да се объркат, когато им се каже да търсят .htaccess файл и не го намерите; или по-общо, винаги когато се представят инструкции за най-често срещаната версия на нещо, за които се отнасят всичко версии на нещото.