Правильный robots.txt для WordPress

WordPress, как и подавляющее число других CMS, создает множество «мусорных» страниц, не содержащих никакого контента, и потому снижающих качество сайта в случае их попадания в индекс поисковых систем.

Правильный файл robots.txt для WordPrss позволит указать поисковым роботам, содержимое каких именно разделов сайта не должно быть проиндексированным.

Создать robots.txt очень просто. Он представляет собой обычный текстовый файл, куда внесены соответствующие директивы, размещенный в корне сайта. Большинство современных сборок WordPress уже заранее включают в свой архив отредактированный файл robots.txt, который нужно только загрузить на хостинг. Однако при необходимости вы можете создать его самостоятельно и прописать там все, что требуется.

Как создать файл robots.txt для WordPress

Создайте на своем компьютере текстовый файл robots.txt, откройте его и пропишите:

User-agent: *
Allow: /
Disallow:
Sitemap: домен_сайта.ру/sitemap.xml

User-agent: Yandex
Allow: /
Disallow: /author/
Disallow: /date/
Disallow: /wp-admin/

User-agent: Googlebot
Allow: /
Disallow: /author/
Disallow: /date/
Disallow: /wp-admin/
Disallow: /part/

Теперь просто загрузите его в корневую директорию вашего сайта.

Данные директивы запрещают индексировать на сайте контент, отображающийся по дате (/date/) и имени автора (/author/), что может привести к попаданию в индекс дублей статей web-ресурса. Кроме того, поисковым роботам запрещается индексировать содержимое админ-панели сайта, адрес которой включает /wp-admin/.

Запрещать ли индексацию категорий в WordPress?

Некоторые владельцы сайтов считают, что попадание в индекс страниц категорий, архивов и календарей приводит к повышению вероятности попадания под фильтр поисковых систем, так как все данные страницы содержат на себе информацию, дублирующуюся в записях блога.

Однако тут возникает нюанс: на большинстве сайтов и блогов на WordPress меню представляет собой ссылки на основные категории или разделы web-ресурса. И если запретить их индексацию, наибольшее число внутренних ссылок (а обычно меню дублируется на каждой странице) будет вести на запрещенные к индексации страницы. От этого вероятность фильтра поисковых систем только увеличится.

Оптимальное решение – не создавать на сайте страницы, которые вы хотите скрыть от поисковиков. К примеру, вряд ли информационная наполненность web-ресурса пострадает, если там будут отсутствовать архивы и календарь. Посетителя интересует контент сайта (текстовое содержимое, графика, видео), а не дата, когда он был добавлен.

Избавиться от дублей в категориях можно, если писать к каждой заметке WordPress уникальное описание, которое и будет выводиться на странице категорий. Или использовать на сайте меню со ссылками на определенные страницы, как это сделано на этом сайте, а не «солянку» из описаний к записям.

Теперь вы знаете, как создать правильный файл robots.txt для WordPress. Надеемся, у вас не возникнет трудностей на данном этапе SEO-оптимизации сайта.

Меню сайта

Создание и продвижение сайтов
• Правильный robots.txt для WordPress

Правильный robots.txt для WordPress