Как закрыть сайт от индексации

Несмотря на то, что основной целью большей части владельцев сайта является как можно более быстрая индексация ресурса поисковиками, порой возникают такие ситуации, когда необходимо закрыть сайт от индексации. Как правило, подобные задачи возникают весьма редко, так как основной целью веб-ресурса является привлечение пользователей. Гораздо чаще требуется закрыть от индексации не весь ресурс, а только его часть, информация в которой является либо служебной или дублирующей контент на сайте. Также закрыть сайт от индексации может понадобиться в том случае, если он представляет собой приватное сообщество, которое стремится скрыть имеющуюся на нем информацию от людей, не входящих в коммьюнити. Обычно подобные порталы развиваются по законам, отличным от тех, какие используют сайты, владельцы которых привлекают посетителей при помощи поисковых систем, что связано с тем, что веб-ресурсы подобного рода уже имеют достаточную известность, которая привлекает новых пользователей, стремящихся попасть в закрытое сообщество. Кроме того, нередко владельцы сайтов закрывают его от индексации в период начала его создания, так как не хотят, чтобы в кэш поисковиков попали страницы ресурса, находящегося в разработке.

Для того чтобы полностью закрыть сайт от индексации в этом случае, достаточно просто прописать в файле robots.txt:

User-agent: *
Disallow: /
Host: site.ru

Файл robots.txt требуется залить в корневую директорию ресурса.

Гораздо чаще веб-мастерам требуется закрыть от индексации не весь сайт, а какие-либо отдельные его страницы, информация, содержащаяся на которых, является либо конфиденциальной, либо технической. Использование распространенных CMS избавляет от необходимости корректировать robots.txt самостоятельно, так как в комплектацию с файлами «движка» входит и сам robots.txt, в котором уже содержится необходимая информация о том, какие страницы должны быть запрещены к индексации. Обычно в этот список входит админ-панель, директории, где содержатся модули или плагины для CMS, а также файлы и иллюстрации, загруженные пользователями, и ряд других папок. Если вы постоянно используете в работе одну и ту же CMS, то достаточно единожды составить правильный robots.txt, который и использовать в дальнейшем. К примеру, он может выглядеть так:

User-agent: *
Disallow: /
Host: site.ru
Disallow: /administrator/
Disallow: /components/
Disallow: /images/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Также следует учитывать и то, что в некоторых CMS по умолчанию имеется защита от индексации страниц, дублирующих контент на сайте. Особенно часто это касается форумов, где индексация каждого сообщения как отдельной страницы привела бы к множественному дублированию контента на сайте. Поэтому в дублирующие контент страницы форумов нередко включается код, запрещающий их индексацию:.

Таким образом, наилучшим способом закрыть от индексации ненужные страницы сайта является использование robots.txt, входящего в комплект к CMS. Если же вы используете «движок» собственной разработки, то составление robots.txt необходимо осуществить самостоятельно, обращая внимание на то, чтобы в индекс ПС не попали бы страницы-дубли, а также директории служебного назначения.

Меню сайта

Создание и продвижение сайтов
• Как закрыть сайт от индексации

Как закрыть сайт от индексации