Правильный файл robots.txt для Wordpress

Дек

Автор: Андрей - аdmin | Рубрика: Wordpress, Новости | 15-12-2011 | (988 просмотр/ов)

Здравствуйте дорогие читатели. В предыдущей теме мы с Вами разобрали, что же из себя представляет файл robots.txt, и для чего он нужен нашему сайту. Сегодня же, я бы хотел представить Вам уже готовый, правильно заполненный, текстовый файл robots.txt. Конечно же стоит понимать, что для каждого сайта он свой, и в конце-концов, нам все равно придется его подправлять под себя, но все же я предлагаю начальный вариант, который первое время будет качественно работать в качестве связного, между Вашим сайтом и Вами и поисковыми ботами.

Если же, Вы сами пришли только что с поисковика, и хотели бы более подробно изучить внутренности и цель работы robots.txt, то можете посмотреть всю информацию здесь.

Итак с этим мы разобрались, теперь давайте перейдем непосредственно к файлу robots.txt.

Я решил разделить следующую часть статьи на 2 части:

В первой части, я представлю robots.txt в печатном виде прямо в статье, а также дам ссылку для скачивания. То есть, Вы можете скопировать самостоятельно и вставить в блокнот или скачать уже готовый файл robots.txt.

Текстовая версия:

User-agent: *
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: Ваш сайт без http://
Sitemap: http://Ваш сайт/sitemap.xml.gz
Sitemap: http://Ваш сайт/sitemap.xml

Скачать готовый robots.txt: