robots txt 2 300x193 Правильный Robots.txt для wordpress Как составить!

Правильный Robots.txt для wordpress-Закрой ненужные страницы!

Здравствуйте уважаемые читатели моего блога о реальном заработке в интернете!Сегодня поднимем тему правильный Robots.txt для wordpress!Это очень важный момент,который нужно обязательно учитывать!Зачем нужен Robots.txt?Правильный Robots.txt нужен для того,чтоб запретить индексацию не нужных страниц,которые не содержат полезную информацию,и делают сайт менее качественным в глазах поисковиков!Например страницы RSS фида, страницы поиска, регистрации, профили пользователей, страницы, дублирующие информацию и т.д.

Правильный Robots.txt для wordpress-как составить!

Друзья давайте посмотрим как должен выглядеть правильный Robots.txt для wordpress и потом его немного разберём.

Robots.txt для wordpress

User-agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: */trackback/
Disallow: /feed/
Disallow: */feed/
Disallow: /?feed=
Disallow: /*page/
Disallow: /tag/
Disallow: /?s=
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

robots txt1 Правильный Robots.txt для wordpress Как составить!Не забудьте вставить в разделы Host,Sitemap,адрес вашего сайта!
Это на мой взгляд очень хороший и правильный Robots.txt для wordpress.
Давайте разберём,что к чему!

Allow: /wp-content/uploads/
Разрешаем индексировать папку wp-content/uploads/. Чтобы робот индексировал картинки и прочие файлы, которые мы загрузили.

Disallow: /cgi-bin
Запрещаем индексировать все, что лежит в папке cgi-bin.

Disallow: /wp-login.php
Запрет индексации страницы wp-login.php. Вход в админку не несет никакой полезной информации и его нужно запретить к индексации.

Disallow: /wp-register.php
То же самое и со страницей регистрации – wp-register.php.

Disallow: /xmlrpc.php
Запрещаем индексацию файла xmlrpc.php. Какой-то файлик, который отвечает за вызов удаленных процедур в WP.

Disallow: /wp-admin/
Запрещаем индексировать админ панель WordPress.

Disallow: /wp-includes/
Даем указание не индексировать файлы, находящиеся в директории wp-includes

Disallow: /wp-content/
Запрещаем индексацию в директории wp-content. Внутри нее у нас лежат папки: с темами themes, плагинами – plugins, папка cache, если используются плагины для кеширования страниц и т.д. То есть, куча бесполезного, что не нужно индексировать. Единственное что представляет ценность это папка wp-content/uploads/, но мы ее уже разрешили индексировать в начале.

Disallow: /trackback/
Disallow: */trackback/
Что-то связанное с трекбеками. Подглядел где-то и включил в свой файл robots.txt.

Disallow: /feed/
Disallow: */feed/
Disallow: /?feed=
Запрещаем индексацию всего, что связано с фидами. Тоже где-то подглядел, особо не разбирался.

Disallow: /page/
Запрет индексации страниц с постами.Страницы содержат полезную информацию, но индексировать их не нужно.

Disallow: /tag/
Также будет правильным запретить тэги (метки). Яндекс не очень любит их из-за дублированного контента. Но если грамотно распределять посты по меткам и в анонсах статей писать уникальные описания, и к каждой статье не добавлять кучу меток, а одну-две, то можно и разрешить индексировать тэги. Я на своём сайте запрещаю.

Disallow: /?s=
Не индексируем страницы результатов поиска. Вот это просто обязательно.

Sitemap: http://site.ru/sitemap.xml
Указываем поисковому роботу путь к карте сайта в формате xml.

Host:site.ru
Обозначаем что сайт site.ru является главным зеркалом.
Ну вот друзья мы разобрали какой должен быть правильный Robots.txt для wordpress.Теперь как это всё установить на свой сайт!Создайте обычный текстовый документ,скапируйте код Robots.txt и закиньте его в корневую папку своего сайта.Ау меня на этом всё,желаю удачи!