Как да създадете файл robots.txt и файл sitemap.xml за seo

Каква е „най-добрата“ настройка за robots.txt? Използвам следната структура за постоянна връзка в Wordpress: /%category%/%postname%/.

Моят robots.txt в момента изглежда по следния начин (копиран от някъде отдавна):

User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /comments Disallow: /category/*/* Disallow: */trackback Disallow: */comments 
  1. Искам коментарите ми да са независими. Така че мога да премахна това, нали?
  2. Искам ли да забраня индексирането на категории поради моята структура на постоянни връзки?
  3. Една статия може да има няколко маркера и да бъде в множество категории. Това може да доведе до дублирания в google. Как да заобиколя това?

Бихте ли променили нещо друго тук?

  • 5 Вероятно ще получите по-добър отговор на wordpress.stackexchange.com

WordPress Codex има примерен SEO оптимизиран файл robots.txt: http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress#Robots.txt_Optimization

Използвам следното във файла functions.php на моята тема, за да се справя с него:

// add to robots.txt add_action('do_robots', 'roots_robots'); function roots_robots() { echo 'Disallow: /cgi-bin\n'; echo 'Disallow: /wp-admin\n'; echo 'Disallow: /wp-includes\n'; echo 'Disallow: /wp-content/plugins\n'; echo 'Disallow: /wp-content/cache\n'; echo 'Disallow: /wp-content/themes\n'; echo 'Disallow: /trackback\n'; echo 'Disallow: /feed\n'; echo 'Disallow: /comments\n'; echo 'Disallow: /category/*/*\n'; echo 'Disallow: */trackback\n'; echo 'Disallow: */feed\n'; echo 'Disallow: */comments\n'; echo 'Disallow: /*?*\n'; echo 'Disallow: /*?\n'; echo 'Allow: /wp-content/uploads'; } 
  1. Трябва да сте сигурни да премахнете реда * / comments, ако искате да индексирате коментарите.
  2. От това, което съм преживял, категориите определено са добри за индексиране. Не бих ги забранил.
  3. Google трябва да се справи. Проверете дали страниците, които познавате, могат да бъдат дублирани, имат етикет „canonical“, който идентифицира страницата като уникален ресурс. Ако имате дублирано съдържание на тези страници, можете да конфигурирате приставката „Всичко в един SEO пакет“, за да я премахнете вероятно от тези страници: http://wordpress.org/extend/plugins/all-in-one-seo-pack/

Бих използвал това:

User-agent: * Disllow: /*.zip$ Disllow: /*.doc$ Disllow: /*css$ Disllow: /anyother_download_file$ Disllow: /tag/ Disllow: /category/ Disllow /wp-* 

Надявам се да намерите това за полезно.

е работил за вас: Charles Robertson | Искате ли да се свържете с нас?