robots.txt для wordpress

20.05.10

Рубрика: Seo,Wp

Автор: Вадим Захаров

У меня есть пару друзей которые тоже ведут автономные блоги на WordPress.

И тоже начали не так давно.

Ну я вот вчера ночью сидел и анализировал их внутреннюю оптимизацию.

И пришел к выводу что некоторым из них нужна помощь)

Точнее не помощь а пару советов.

Ранее я уже рассказывал как настроить rss и что потом с этим rss делать.

Теперь пришло видимо время рассмотреть файл robots.txt

И так.

файл robots.txt ( он кстати лежит в корне сайта ) нужен для создание «инструкций» поисковым роботам.

Если уж совсем по простому, то он объясняет поисковикам что можно индексировать а что нет.

Это ускоряет индексацию, помогает избежать дублирование контента и не забивает поисковики «ненужным хламом» который они так не любят.

Конфигураций конечно может быть много.

Но я считаю что для WordPress подходит примерно следующая.

******

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: указываете ваш основной домен, с www он или без ( к примеру delexp.net )

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: http://вашсайт.ру/sitemap.xml

******

* я использую именно такой пример конфига. можете проверить http://delexp.net/robots.txt *
* эта версия конфига была выявлена экспериментальным путем — читать здесь и здесь

в принципе даже особо гуглить не надо что бы понять что запрещает этот конфиг.

он отрезает все лишнее и ничего больше.

просто создаете файл robots.txt копируете туда изложеное выше и кидаете в корневик блога.

все счастливы.

Захаров Вадим

Похожие записи:

Получайте обновления блога, в любой удобной для вас форме:

Полезная запись? Тогда жми:

Метки:

Seo, Wp, индексация

115 ответов в “robots.txt для wordpress”

Сказал Kalachov.com 20.05.10 в 12:21

угу, а еще я закрыл вообще доступ некоторым ботам, ибо не фиг грузить сервер. А Yahoo имеет самого №%№% бота который приводит к чрезмерным нагрузкам на проц. А самое главное ни каких входов с их №;%:%? поисковика нет.

Популярное

Обсуждаемое

Свежее

robots.txt для wordpress

115 ответов в “robots.txt для wordpress”

1 Трекбэк(и)

Комментировать