Как мы увеличили трафик сайта в 8 раз, закрыв от индексации 86 % его страниц

Что такое краулинговый бюджет

Краулинговый бюджет — это количество страниц, которое поисковый робот (краулер) может обойти за одно посещение сайта. Для каждого сайта краулинговый бюджет индивидуален. Он зависит от 2 параметров:

1. Краулингового спроса, то есть от количества страниц данного сайта, которое в принципе может быть включено в индекс поисковой системы. Краулинговый спрос формируется на основе объема сайта, частоты обновления информации на нем и пользовательского интереса. Допустим, есть два интернет-магазина с примерно равным количеством страниц. Краулинговый спрос будет больше у того, на котором регулярно обновляется ассортимент, а также бренд которого более известен, а значит выше популярность и органический трафик.
2. Скорости сканирования сайта. Высокая скорость загрузки сайта говорит о его стабильной работе, а значит, краулер может посетить больше страниц за одно и то же количество заходов. И наоборот, при медленной скорости работы сайта робот не создает нагрузку на сервер и замедляет сканирование.

Неэффективной трате краулингового бюджета способствуют несколько факторов: ошибки технической оптимизации (например, при наличии цепочек редиректов на сайте робот будет тратить краулинговый бюджет на них вместо того, чтобы напрямую переходить на важные для индексации страницы сайта, подробнее о технических ошибках и их влиянии на SEO-продвижение мы писали в этой статье), низкая скорость загрузки сайта, слишком большое количество доступных для сканирования страниц.

В большинстве случаев для того, чтобы краулер регулярно сканировал все важные страницы, сайту достаточно быть «здоровым» технически и иметь быструю скорость работы. А вот наличие на сайте нескольких десятков тысяч и более страниц может стать проблемой и потребовать дополнительного управления краулинговым бюджетом. Именно с такой ситуацией столкнулся наш клиент.

Кейс

Клиент Tema4x4 — интернет-магазин проставок для повышения клиренса автомобиля.

Специфика этой ниши заключается в том, что подобных магазинов в России не так уж много и ранжируются они по всей стране. Потенциал тематики — в НЧ и микро-НЧ-трафике. ВЧ-запросов в данной тематике немного, поскольку обычно автовладельцы ищут проставки для своего конкретного автомобиля (например, по запросу «проставки для Рено Логан 2007 года» или «полиуретановые проставки на Форд»).

Поэтому для продвижения сайта мы выбрали стратегию привлечения НЧ- и микро-НЧ-трафика. В соответствии с ней в 2016 году разработали новый сайт.

Основные посадочные страницы сайта — страницы ЧПУ-фильтров, сформированные на основе параметров для выбора проставок:

• марка автомобиля,
• модель автомобиля,
• год выпуска автомобиля,
• тип проставки,
• материал.

Фильтрация дает в сумме более 130 тыс. комбинаций и, соответственно, посадочных страниц.

Мы столкнулись с медленным ростом трафика и обратили внимание на плохое индексирование сайта. Поисковый робот посещал малую часть страниц из общей массы, не включал в индекс или не переобходил страницы, пользующиеся наибольшим поисковым спросом. Поэтому мы решили закрыть часть страниц фильтров от индексации.

1 этап

Закрыли от индексации непосещаемые страницы фильтров — те, что были сформированы на основе фильтрации по 2 вариантам одного параметра (например, 2 материала — силиконовые и полиуретановые проставки), а также по всем 5 параметрам.

Это дало прирост трафика более чем в 4 раза.

2 этап

Закрыли от индексации наименее посещаемые страницы фильтров, а именно те, что были сформированы на основе фильтрации по 4 и по 3 параметрам (здесь брали только те, что не посещались в течение года).

В результате трафик вырос еще в 2 раза.

Таким образом, мы оставили доступными для индексации 14 % страниц сайта, которые в итоге привлекли и продолжают привлекать наибольшее количество трафика (19 тыс. индексируются, 117 тыс. исключены).

Как управлять краулинговым бюджетом

Чтобы робот-краулер посещал все значимые для индексации и посещения пользователями страницы, необходимо:

1. Следить за технической оптимизацией (вовремя устранять битые ссылки, избегать цепочек редиректов и т.д.).
2. Влиять на скорость сканирования сайта. Для этого:
   • перенесите сайт на более быстрый хостинг,
   • сожмите крупные файлы и изображения,
   • настройте кэширование.
3. Сокращать количество сканируемых страниц сайта:
   • закройте от индексации непопулярные страницы (можно проанализировать инструментом Netpeak Spider в связке с Яндекс.Метрикой);
   • объедините страницы с похожим контентом (например, многочисленные карточки товаров, отличающиеся одним параметром).

Корректное управление краулинговым бюджетом сайта позволяет поисковым роботам посещать наиболее значимые страницы, что в свою очередь способствует своевременному обновлению страницы в индексе и улучшению ранжирования сайта.