Прогон сайта

Оценка и устранение дублей на сайте

На сайте могут наличествовать дубликаты контента – страницы, полностью или частично идентичные друг другу. Одной из главных проблем поисковых систем является устранение дубликатов.

Чем вредны дубликаты для сайта: 1. Ссылочный вес размывается. Вместо того, чтобы увеличивать значение одной страницы, мы рассеиваем ссылки по нескольким страницам-дубликатам, в результате чего каждый из этих дубликатов получает меньший вес.

2. Входной может оказаться не та копия, на которую стоят ссылки. Нередко бывает, что после очередного апдейта дубликат вытесняет в выдаче продвигаемую страницу, и та теряет позиции.

3. Контент теряет уникальность. Дублированный контент понижает степень уникальности всех страниц, на которых он размещен. Страница с уникальным контентом имеет существенно больший вес.

4. Поскольку дубликаты исключаются из поиска, из него может исчезнуть нужная нам страница. В борьбе с дубликатами поисковые системы могут запросто исключить из своей базы те страницы, которые мы продвигаем, и оставить дубликат, который не имеет ни входящих внешних ссылок, ни особых бонусов по внутренней оптимизации.

Итак, проблема дубликатов в целом сводится к двум моментам:

• поисковые системы часто исключают из поиска значимые страницы, поскольку не способны корректно определять, какой из дубликатов имеет большую ценность;

• сайт с огромным количеством дублированного контента индексируется не полностью.

Дубли бывают полными и частичными. Полный дубликат – это абсолютно идентичные страницы, частичный – страницы, совпадающие не полностью. В зависимости от типа дубликата выбирают способ его устранения: полные дубликаты закрывают через robots.txt и 301 редирект, для устранения частичных дублей приходится делать правки на страницах.

Работа с полными дубликатами состоит в следующем: 1. Контроль за урлами В индексе поисковых систем должна находиться только одна версия главной страницы сайта, все ее дубликаты нужно удалить либо закрыть для индексации. Например, мы имеем варианты такого вида: http ://www.site.ru/ http ://www.site.ru/index.php http ://www.site.ru

http ://site.ru/ http s://www.site.ru/

Из вышеперечисленных конструкций оптимально использовать для продвижения первую (http ://www.site.ru/ ). Для устранения остальных применяем 301 редирект и настройки robots.txt (в случае с конструкциями вида http s://www.site.ru/ ).

2. Смена директорий Золотое правило гласит: каждая страница должна быть доступна только по одному адресу. Нельзя, чтобы адреса варьировались таким образом: http ://www.site.ru/dir1/dir2/ http ://www.site.ru/dir2/dir1/ Пользователь может переходить по пути «фотоаппараты»  Canon или Canon  «фотоаппараты», и в любом случае адрес страницы должен быть одним, к примеру, http ://www… /fotoapparat/canon/

3. Формирование URL При формировании URL нужно подобающим образом настроить сервер: переменных в «урле» отображаться не должно. Использование URL типа http ://www.site.ru/index.php?dir=1231&id=313 – ошибка. Корректным будет употребление http ://www.site.ru/dir/1231/id /313.

4. Идентификатор сессий Идентификатор сессий, который мы можем наблюдать в примере URL http ://www.site.ru/dir/1231/id/313&php?PHPSESSID=2123, указывает на сайт, который фактически содержит бесконечное количество дубликатов каждой страницы. Эти страницы при очень большом везении попадают в индекс поисковых систем, создавая копии. Если сессии невозможно заменить чем то еще, нужно закрывать их через настройки robots.txt.

5.Уязвимость 404 ошибки Когда мы пытаемся открыть несуществующую страницу, то чаще всего видим заглушку. Что «видит» в этом случае сервер? Это зависит от настроек кода ответа. Если в них прописано 404, сервер решает,что такой страницы не существует. Такой подход наиболее правильный. К сожалению, вместо этого нередко можно встретить код ответа 301 («страница перемещена навсегда») или 200 («все хорошо»). И если в первом
случае страницы просто склеиваются, то во втором случае создается дубликат. Наиболее проигрышный расклад выглядит так: на сайте для несуществующей страницы отдается код ответа 200, а вместо заглушки отображается главная страница. В этом случае может быть поставлено любое количество внешних ссылок на несуществующие страницы, каждая из которых продублирует главную и размоет ее вес.

6. Лишние переменные Проблема наличия лишних переменных наиболее актуальна для универсальных коммерческих CMS. Лишние переменные образуются, например, в тех случаях, когда посетитель указывает дополнительный параметр поиска, сортировки или отображения, который не влияет на содержание страницы, но может учитываться CMS. Через настройки robots.txt необходимо добиться того, чтобы URL ни в коем случае не имели вид типа http ://www.site.ru/dir/1231/id/313.php?mode=2&coin=3 корректным будет вариант http ://www.site.ru/dir/1231/id/313.php?mode=4

7. Реф-ссылки В электронной коммерции распространена практика создания партнерских программ, способствующих продвижению товара или услуги. Один из принципов работы такой программы заключается в том, что партнер распространяет по своим каналам ссылку, содержащую его личный ID. Регистрация каждого нового пользователя по такой ссылке приносит партнеру вознаграждение. Выглядит рефссылка примерно так: http ://www.site.ru/dir/1231/id/313.php?ref=1323. Понятно, что использование реф-ссылок становится причиной появления дубликатов. Устранить их можно также через настройки robots.txt. (в данном примере нужно дописать Disallow: *?ref).

Работа с частичными дубликатами

1. Сортировка На сайтах, содержащих каталог, для удобства посетителей предлагаются различные виды сортировки: по цене, по количеству отображаемых элементов на странице, по дате добавления, по рейтингу, по категории и т. п. Пользователям становится действительно удобно, а вот у оптимизаторов появляется проблема: сортировка создает мусорные для поисковых систем страницы, не содержащие никакого уникального контента.
Чтобы избавиться от полудубликатов, в некоторых случаях содержимое таких страниц закрывают через метатеги noindex, nofollow, в других – к URL приписывают директорию или переменную, которая закрывается через robots.txt.
Иногда, правда, продвижение страниц сортировок в поисковых системах – единственно верная стратегия. В этом случае бороться с полудубликатами не приходится.

2. Частичное дублирование контента На многих сайтах есть дубликаты в тегах Description, Title, H1, Keywords. Уникализировав их содержимое на своем сайте, вы сделаете отличный
вклад в продвижение ресурса.

Весь дублирующийся контент в блоках типа «Схожие предложения» необходимо скрывать через <NOINDEX>, оставляя доступными для поисковых роботов лишь ссылки и наименования товаров.

Страницы списка анонсов должны содержать уникальный контент, а не формироваться из текстов, частично дублирующих полное содержание статей.

Схожие страницы типа «Оставить заявку» вообще не имеют значения, а потому индексироваться не должны.

Если контента на сайте нет или его мало, стоит прибегнуть к услугам копирайтеров, или сгенерировать тексты машинным путем, или подумать о том, как привлечь поток User Generated Content.

Ещё по теме:

» Категория: Прогон сайта

← Вернуться