В данной статье представлена ответы на основные вопросы, касающиеся создания sitemape.xml (Sitemaps Google) и его использования для улучшения индексации сайта.
Карта сайта (sitemap.xml) представляет собой XML-файл, где перечислены все адреса всех открытых для индексации страниц веб-сайта, вместе с дополнительной информацией о каждом URL. Создав карту сайта для своего web-ресурса, вы поможете поисковым роботам сканировать сайт более быстро и качественно. В настоящее время стандартный формат XML-карт сайта прекрасно понимается всеми основными поисковыми системами.
При желании создать sitemap.xml можно хоть в блокноте, однако это потребует слишком много времени. Практически все современные CSM имеют встроенный функционал или дополнительный плагин, позволяющий создать карту сайта xml формата. Если вы сделали сайт на html, можно использовать специальные программы (sitemap xml генераторы), которые просканируют web-ресурс и сгенерируют для него xml карту. Онлайн генераторы обычно позволяют просканировать не более 500 страниц сайта, поэтому для более крупных web-ресурсов следует использовать десктопные программы.
Оптимальный способ – просто указать адрес карты в файле robots.txt. Файл sitemap.xml должен располагаться в корневой директории сайта, а в robots.txt следует добавить строку Sitemap: http://mysite.com/sitemap.xml
Если файлов sitemap.xml несколько, укажите ссылки на каждый из них.
Также можно добавить sitemap.xml сайта непосредственно в Google WMT.
Robots.txt – это файл, содержащий директивы, необходимые для правильной индексации сайта. Помимо адреса карты sitemap.xml в нем можно запретить индексацию определенных директорий (во избежание дублей), указать основной адрес сайта, задать для робота ПС минимальный период времени между загрузками страниц и ряд других параметров.
является частью отчуждения протокола Robots. Вы можете использовать этот файл, чтобы разрешить или запретить поисковым системам сканировать и индексировать определенные области вашего сайта. Это здорово, чтобы уменьшить использование полосы пропускания сканеры. Вы также можете указать файл карты сайта XML; это полезно, так как это позволяет поисковым системам, чтобы найти XML сайта.
Просто откройте блокнот или любой другой текстовый редактор, напишите там необходимые директивы и сохраните с названием robots.txt.