Зачем нужен robots.txt
В некоторых случаях web-мастеру необходимо ограничить индексирование части сайта, чтобы информация, находящаяся на определенных страницах, не показывалась бы в выдаче. Это может быть связано с конфиденциальностью сведений в документах (например, список купленных товаров и ФИО его заказчиков), с необходимостью скрыть от посторонних служебные страницы или админ-панель, а также – в чем особенно часто нуждаются SEO-оптимизаторы – с закрытием дублирующегося контента, который не содержит в себе никакой полезной информации (календари, тэги, архивы).
Для того чтобы запретить поисковым роботам индексацию части документов, необходимо указать соответствующие директивы в файле robots.txt. Создать такой файл очень просто: достаточно открыть стандартный текстовый блокнот Windows, вписать туда необходимые команды и сохранить его как robots.txt. Затем следует загрузить файл в корневую директории сайта, чтобы он был доступен по адресу http://site.ru/robots.txt.
В состав большинства современных CMS по умолчанию входит robots.txt, где указана информация о том, какие директории должны быть запрещены к индексации. Обычно такой файл достаточно загрузить в корневую папку сайта без внесения в него изменений.
В ряде случае web-мастеру приходится вносить самостоятельные правки в robots.txt. Первоначально следует указать User-agent поискового робота, для которого действует правило.
Для Яндекса это строка выглядит так:
User-agent: YandexBot.
Для Google:
User-Agent: Googlebot.
Затем после директивы Disallow необходимо указать те директории и страницы, доступ к которым должен быть закрыт. Для закрытия всего каталога следует указать его и название и косую черту Disallow: /katalog/. Для закрытия страницы ее адрес: Disallow: /paga.html
