Если Вы анализируете свой сайт с помощью различных сервисов, то частенько можете увидеть, что число проиндексированных страниц в Яндексе и Гугле разнится, причем в пользу Гугла. Механизмы работы поисковых машин отличаются, их алгоритмы срабатывают по-разному. Вот 3 нюанса работы Гугла, из-за любого из них число страниц в индексе может быть больше ожидаемого:
- Неверная статистика. Когда Вы проверяете число страниц, Гугл может Вам написать: «Найдено около 120 страниц». Но когда Вы будете листать результаты поиска, переходя со страницы на страницу, число может резко упасть, причем до величин, более-менее соответствующих ожидаемым.
- Игнорирование инструкции Google. Явление не частое, но бывает. В результате в индексе могут оказаться служебные страницы, не предназначенные для индексации. Например, страницы тегов или архивы. В качестве гипотезы выскажу, что происходит это не из-за игнорирования robots.txt Гуглом, а из-за того что Гугл и Яндекс в разном порядке учитывают инструкции запрета и разрешения индексации.
- Любовь к старью. Встречались, наверное, когда-нибудь с таким, что кто-то из Ваших знакомых (а может, и Вы сами) хранит у себя старые фотографии, пожелтевшие вырезки из газет или покрытые слоем пыли CD и кассеты. Вот и Гугл примерно так же. Он хранит у себя зачастую кучу того, с чем можно спокойно расстаться.
Это могут быть:
- удаленные страницы, если сервер до сих пор по старому URL выдает 200 код ответа сервера;
- дубликаты страниц в идентификационной сессии в URL;
- внутренние технические ссылки, например, ссылки на страницы результатов поиска по сайту.
Вот такие старинные страницы могут быть весьма вредны для поисковой оптимизации. Они могут дезориентировать поисковик, смещая веса и иногда выступая в качестве ошибочных релевантных страниц по роду запросов. Кроме того, индексатор поисковика тратит лишние ресурсы на индексацию таких страниц, что может обернуться нехваткой внимания к нужным страницам.
Поэтому рекомендую обратить внимание на то, какие ищет страницы в индексе у Гугла, и, если там есть лишние страницы, взять этот вопрос под контроль.
Отдельно нужно отметить, что попадание в индекс страниц с результатами поиска по сайту иногда может привести к положительным результатам: выходу в топ по низкочастотным запросам. Это происходит из-за того, что запрошенная фраза попадает в шаблоне страницы в теги title и H, а также выделяется в найденном тексте. Так что будьте вдвое внимательнее.
