Составление списка непроиндексированных страниц, посещенных роботом

 

В некоторых случаях, после посещения робота, страница не попадает в индекс. Важно отличать такие страницы, от страниц, которые не в индексе и робот их не посещал, поскольку технология индексации таких страниц отличается.

 

- При помощь анализа логов составляется список страниц, которые посещал робот

- Получить список важных непроиндексированных страниц, не посещенных роботом и список важных непроиндексированных страниц, посещенных роботом

- Изучить список непроиндексированных страниц, которые не посещал робот ПС, это будет список страниц, на которые необходимо привести робота, чтобы они попали в индекс

- Изучить список непроиндексированных страниц, которые посетил робот ПС, это будут страницы, которые имеют проблему с дублями или статическим весом

 

Проверка возможности индексации важных областей на flash и ajax сайтах

 

При продвижении творческих проектов важно изучить индексацию областей, при написании которых использовались технологии Flash, Ajaxили другие, с индексацией которых могут возникнуть проблемы.

 

- Необходимо по матрице сайта открыть текстовую сохраненную копию всех типов страниц и найти там тексты, выложенные с помощью этих технологий, если текст найти удалось–значит блок индексируется

- В редких случаях даже при отсутствии flash и ajax, на сайте может быть настолько кривая верстка, что текст не попадет в текстовый индекс

 

Проверка возможности индексации всех страниц сайта при текущих инструкциях robots.txt

 

После корректировки robots.txt необходимо проверить, что все важные доступны для индексации.

 

- Проверка осуществляется сервисом http: //webmaster.yandex.ru/robots.xml;

 

5. Проверка целесообразности использования < noindex>, nofollow, metanoindex, metanofollow, SEOHide

 

Ошибки в инструкциях индексации могут привести к выпадению важных страниц из индекса и существенным потерям трафика.

 

- По матрице сайта делается проверка (сервисы RDS-bar, СайтРепорт)

- Необходимо найти не закрытые< noindex>

- Необходимо изучить, какие внутренние ссылки закрыты в nofollow

- Необходимо изучить, какие внешние ссылки закрыты в nofollow

- Необходимо изучить, какие страницы закрыты в metanoindex

- Необходимо изучить, какие страницы закрыты в metanofollow

- Необходимо изучить, есть ли на сайте SEOHide и корректно ли он внедрен

 

6. Проверка корректности использования < noindex>, nofollow, SEOHide

 

После составления списка страниц, на которых используются инструкции по скрытию индексации, необходимо изучить списки на предмет ошибок. Контрольные точки:

 

- Не закрытый < noindex>

- Индексируемый SEOHide

- Проверка корректности SEOHideс помощью плагинаWebDeveloper

- Важные страницы с metanofollow, metanoindex

- Nofollow на внутренних ссылках

 

Поиск ошибок (сравнение индексов по категориям и типам страниц)

 

Необходимо подробно изучить сайт на предмет ошибок. Один из способов это сделать – сравнить списки проиндексированных страниц в разных поисковых системах по тем разделам и типам страниц, где их количество в индексе различается.

 

- Изучаются области сайта, где в одной ПС страниц меньше, чем в другой

 

	Яндекс	Google
URL (egypt) + (category)	1 000	15 000
URL (turkey) + (category)	2 500	4 300
URL (thailand) + (category)	300	980
URL (bali) + (category)	10	11 000
URL (vietnam) + (category)	10 000	3 000
URL (egypt) + (tours)	10 000	10 000
URL (turkey) + (tours)	2 500	2 500
URL (thailand) + (tours)	400	400
URL (bali) + (tours)	10	70
URL (vietnam) + (tours)	20	90

 

- Открываются страницы из списка проиндексированных, изучаются

- Изучаются те страницы, которых нет в индексе одной из поисковых систем, но есть в другой поисковой системе

- Изучаются страницы в Google, помеченные как supplimental

 

⇐ Предыдущая12345678910Следующая ⇒

Поделиться: