Считается, что для успешного SEO-продвижения на сайте должно быть максимально возможное количество страниц, релевантных поисковому спросу в данной тематике. Однако в некоторых ситуациях большое количество однотипных страниц может препятствовать корректному индексированию и ранжированию сайта в поисковых системах.
Действия поисковых роботов зависят от краулингового бюджета. Он представляет собой количество страниц, которое робот (краулер) может просканировать на сайте за одну итерацию. Краулинговый бюджет ограничен, что не позволяет роботу регулярно переобходить многостраничный сайт целиком.
В этой статье мы расскажем о корректном распределении краулингового бюджета и на примере нашего клиента покажем, как краулинговый бюджет влияет на трафик сайта.
Краулинговый бюджет — это количество страниц, которое поисковый робот (краулер) может обойти за одно посещение сайта. Для каждого сайта краулинговый бюджет индивидуален. Он зависит от 2 параметров:
Неэффективной трате краулингового бюджета способствуют несколько факторов: ошибки технической оптимизации (например, при наличии цепочек редиректов на сайте робот будет тратить краулинговый бюджет на них вместо того, чтобы напрямую переходить на важные для индексации страницы сайта, подробнее о технических ошибках и их влиянии на SEO-продвижение мы писали в этой статье), низкая скорость загрузки сайта, слишком большое количество доступных для сканирования страниц.
В большинстве случаев для того, чтобы краулер регулярно сканировал все важные страницы, сайту достаточно быть «здоровым» технически и иметь быструю скорость работы. А вот наличие на сайте нескольких десятков тысяч и более страниц может стать проблемой и потребовать дополнительного управления краулинговым бюджетом. Именно с такой ситуацией столкнулся наш клиент.
Клиент Tema4x4 — интернет-магазин проставок для повышения клиренса автомобиля.
Специфика этой ниши заключается в том, что подобных магазинов в России не так уж много и ранжируются они по всей стране. Потенциал тематики — в НЧ и микро-НЧ-трафике. ВЧ-запросов в данной тематике немного, поскольку обычно автовладельцы ищут проставки для своего конкретного автомобиля (например, по запросу «проставки для Рено Логан 2007 года» или «полиуретановые проставки на Форд»).
Поэтому для продвижения сайта мы выбрали стратегию привлечения НЧ- и микро-НЧ-трафика. В соответствии с ней в 2016 году разработали новый сайт.
Основные посадочные страницы сайта — страницы ЧПУ-фильтров, сформированные на основе параметров для выбора проставок:
Фильтрация дает в сумме более 130 тыс. комбинаций и, соответственно, посадочных страниц.
Мы столкнулись с медленным ростом трафика и обратили внимание на плохое индексирование сайта. Поисковый робот посещал малую часть страниц из общей массы, не включал в индекс или не переобходил страницы, пользующиеся наибольшим поисковым спросом. Поэтому мы решили закрыть часть страниц фильтров от индексации.
Закрыли от индексации непосещаемые страницы фильтров — те, что были сформированы на основе фильтрации по 2 вариантам одного параметра (например, 2 материала — силиконовые и полиуретановые проставки), а также по всем 5 параметрам.
Это дало прирост трафика более чем в 4 раза.
Закрыли от индексации наименее посещаемые страницы фильтров, а именно те, что были сформированы на основе фильтрации по 4 и по 3 параметрам (здесь брали только те, что не посещались в течение года).
В результате трафик вырос еще в 2 раза.
Таким образом, мы оставили доступными для индексации 14 % страниц сайта, которые в итоге привлекли и продолжают привлекать наибольшее количество трафика (19 тыс. индексируются, 117 тыс. исключены).
Чтобы робот-краулер посещал все значимые для индексации и посещения пользователями страницы, необходимо:
Корректное управление краулинговым бюджетом сайта позволяет поисковым роботам посещать наиболее значимые страницы, что в свою очередь способствует своевременному обновлению страницы в индексе и улучшению ранжирования сайта.