Прогон сайта

Работа с Sitemap.xml и Robots.txt

Robots.txt в большинстве случаев используется для исключения дубликатов, служебных страниц, удаленных страниц и других ненужных страниц из индекса поисковых систем. Кроме того, именно через robots.txt можно указать ПС главное зеркало сайта и адрес карты сайта. В некоторых случаях к robots.txt прибегают для того, чтобы закрыть сайт от нежелательной поисковой системы. Правильное манипулирование robots.txt позволяет перенаправлять бота ПС на нужные страницы, не разрешая создавать дубли контента, приводящие к понижению понизиций.

Файл robots.txt должен располагаться строго в корне сайта, он должен быть единственным, число директив (команд) не должно превышать 1024.

Если основное предназначение robots.txt – это запрет индексации, то карта сайта sitemap.xml выполняет прямо противоположные задачи. Она отвечает за ускорение индексации сайта и полноту индексации сайта.

Sitemap.xml указывает поисковой системе частоту, с которой возникает необходимость в переиндексации страниц. В этом плане инструкция особенно важна для сайтов с регулярно обновляющимся контентом (новостные порталы и т. п.). Кроме того, sitemap.xml содержит все важные страницы сайта с указанием их приоритета.

Общее число sitemap.xml на сайте не должно превышать 1000, при этом число записей (урлов) в каждом не должно превышать 50 000 штук.

Инструкции sitemap.xml и robots.txt при правильном их использовании должны дополнять друг друга. Существуют три правила взаимодействия этих инструкций:

• sitemap.xml и robots.txt не должны противоречить друг другу;

• все страницы, исключенные в robots.txt, должны быть исключены также из sitemap.xml;

• все индексируемые страницы, разрешенные в robots.txt, должны содержаться в sitemap.xml

Мы не будем расписывать прописные истины и копипастить в руководство документацию по составлению robots.txt – для этого есть множество хороших ресурсов, строго рекомендуемых для изучения: http ://robotstxt.org.ru/ - для SEOшников начального уровня обязательно к изучению и осмыслению. http ://help.yandex.ru/webmaster/?i d=996567 – документация от Яндекс http ://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449 – от Гугла.

Что необходимо проверить даже самому великому гуру SEO: 1. Наличие / отсутствие ошибок и описок в robots.txt 2. Прогнать валидацию для каждой из ПС в чекере вебмастера 3.

Проследить что синтаксис яляется правильным для каждой из ПС (так как практически все они поддерживают свои расширенные форматы)

По последнему пункту, у Яндекса есть несколько интересных самостийных директив, например Директива Clean-param:

Если адреса страниц вашего сайта содержат динамические параметры, которые не влияют на их содержимое (например: идентификаторы сессий, пользователей, рефереров и т.п.), вы можете описать их при помощи директивы 'Clean-param'. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.

Например, на сайте есть страницы:

www.site.ru/some_dir/get_book.pl?ref=site_1&book_id=123 www.site.ru/some_dir/get_book.pl?ref=site_2&book_id=123 www.site.ru/some_dir/get_book.pl?ref=site_3&book_id=123 параметр 'ref=' используется только для того, чтобы отследить с какого ресурса был сделан запрос и не меняет содержимое, по всем трем адресам будет показана одна и та же страница с книгой 'book_id=123'. Тогда, если в robots.txt указать:

Clean-param: ref /some_dir/get_book.pl Вот так:

User-agent: Yandex Disallow: Clean-param: ref /some_dir/get_book.pl Робот Яндекса сведет все адреса страницы к одному:

www.site.ru/some_dir/get_book.pl?ref=site_1&book_id=123, Если на сайте доступна страница без параметров:

www.site.ru/some_dir/get_book.pl?book_id=123 То все сведется именно к ней, когда она будет проиндексирована роботом.

Другие страницы вашего сайта будут обходиться чаще, так как нет необходимости обновлять страницы: www.site.ru/some_dir/get_book.pl?ref=site_2&book_id=123

www.site.ru/some_dir/get_book.pl?ref=site_3&book_id=123

Безусловно полезная директива, при наличии партнерской программы на сайте. При этом прямой альтернативы у Гугла нет и приходится прописывать rel="canonical" непосредственно в заголовке страницы.

Таким образом, рекомендую еще раз перепроверить ваши robots.txt, прочекать их на основные ошибки:
http ://robotstxt.org.ru/robotstxterrors

Ещё по теме:

» Категория: Прогон сайта

← Вернуться