Правильный Robots.txt для быстрой индексации блога WordPress

В данной статье я приведу пример конфигурации файла Robots.txt, проверенной на практике. С его помощью лично мне удалось проиндексировать сайт на WordPress в системах Яндекс и Google за 1,5 недели!

Прежде всего, хочу отметить, что данный способ исключает из индекса страницы с архивами записей категорий. Лично у меня складывается плохое мнение о сайтах, у которых разрешена индексация непонятно чего. Но, все же, если кому и понадобится индексация рубрик, то я расскажу как ее включить.

Итак, во-первых, мы должны установить определенный формат для записей сайта. Для удобства конфигурации Robots и более качественной индексации мы добавим расширение .html всем статическим страницам и записям. Переходим в Консоль (админ-панель), далее Параметры -> Постоянные ссылки. Создадим собственный шаблон для отображения ссылок. В поле «Общие настройки» выбираем «Произвольно» и вводим такой код:

/%postname%.html

Если в строке адреса мы хотим, чтобы отображалось название категории, то шаблон будет выглядеть так:

/%category%/%postname%.html

Для того, чтобы подобный шаблон имели статические страницы нужно установить плагин .html on PAGES. 

Учтите, что в определенных случаях длинна URL может оказаться очень большой. Поэтому, во-первых, я советую не использовать шаблон с именем категории в адресе (либо делать это имя как можно короче), а во-вторых — установить на сайт плагин Cyr-And-Lat, — он позволит сформировать транслитерированный адрес записи или страницы на основе заголовка, а также укоротить этот адрес.

Еще советую установить плагин Simple Google Sitemap XML. Адрес карты сайта мы обязательно должны указать в Robots и «скормить» панелям вебмастеров Яндекса и Гугла.

Далее мы должны создать файл Robots.txt. Как это правильно сделать, чтобы в панели вебмастера поисковых систем не было ошибки User Agent: синтаксис не распознается, описано в моей статье.

Теперь, собственно, код файла Robots.txt:

User-agent: *
Allow: /$
Allow: /*.html
Allow: /*.xml
Disallow: /*

User-agent: Yandex
Allow: /$
Allow: /*.html
Allow: /*.xml
Disallow: /*

Host: http://site.ru/

Sitemap: http://site.ru/sitemap_index.xml

Если же вам понадобится индексировать категории, то это можно сделать с помощью вот такой строчки:

Allow: /category*

Добавьте ее для User Agent: * и User Agent: Yandex. При этом, если у Вас стоят плагины наподобие WordPress SEO by Yoast, где можно убрать слово category из заголовка, то Вы должны отключить эту опцию. При данном способе иной возможности проиндексировать категории, увы нету.

Приведенный пример, на мой взгляд, — самый простой и эффективный. Попробуйте на практике — не пожалеете!

Понравилась запись? Ставь лайк!
Loading more content...