Обсудим ваш проект?
15 лет опыта
70+ специалистов
Комплексный интернет-маркетинг
15 лет опыта | 70+ специалистов
Отправить заявку

Как мы увеличили трафик сайта в 8 раз, закрыв от индексации 86 % его страниц

Валентина Луговая,
ведущий SEO-специалист
Наталья ,
руководитель отдела SEO-продвижения
Поделиться
Просмотров:
5304
Время на прочтение:
Статья обновлена:
25 июня 2021
Информация о статье
Просмотров: 5304
Время на прочтение:
Статья обновлена: 25.06.2021
Валентина Луговая, ведущий SEO-специалист
Наталья , руководитель отдела SEO-продвижения
Поделиться

Считается, что для успешного SEO-продвижения на сайте должно быть максимально возможное количество страниц, релевантных поисковому спросу в данной тематике. Однако в некоторых ситуациях большое количество однотипных страниц может препятствовать корректному индексированию и ранжированию сайта в поисковых системах.

Действия поисковых роботов зависят от краулингового бюджета. Он представляет собой количество страниц, которое робот (краулер) может просканировать на сайте за одну итерацию. Краулинговый бюджет ограничен, что не позволяет роботу регулярно переобходить многостраничный сайт целиком.

В этой статье мы расскажем о корректном распределении краулингового бюджета и на примере нашего клиента покажем, как краулинговый бюджет влияет на трафик сайта.

Директ Лайн
Кто мы
Крупнейшее региональное интернет-агентство России. ТОП-10 в рейтинге Рунета.
1200+ проектов
90 специалистов
15 лет на рынке
Коммерческое предложение

Что такое краулинговый бюджет

Краулинговый бюджет — это количество страниц, которое поисковый робот (краулер) может обойти за одно посещение сайта. Для каждого сайта краулинговый бюджет индивидуален. Он зависит от 2 параметров:

  1. Краулингового спроса, то есть от количества страниц данного сайта, которое в принципе может быть включено в индекс поисковой системы. Краулинговый спрос формируется на основе объема сайта, частоты обновления информации на нем и пользовательского интереса. Допустим, есть два интернет-магазина с примерно равным количеством страниц. Краулинговый спрос будет больше у того, на котором регулярно обновляется ассортимент, а также бренд которого более известен, а значит выше популярность и органический трафик.
  2. Скорости сканирования сайта. Высокая скорость загрузки сайта говорит о его стабильной работе, а значит, краулер может посетить больше страниц за одно и то же количество заходов. И наоборот, при медленной скорости работы сайта робот не создает нагрузку на сервер и замедляет сканирование.

Неэффективной трате краулингового бюджета способствуют несколько факторов: ошибки технической оптимизации (например, при наличии цепочек редиректов на сайте робот будет тратить краулинговый бюджет на них вместо того, чтобы напрямую переходить на важные для индексации страницы сайта, подробнее о технических ошибках и их влиянии на SEO-продвижение мы писали в этой статье), низкая скорость загрузки сайта, слишком большое количество доступных для сканирования страниц.

Нет времени разбираться?
SEO-продвижение под ключ
Проанализируем конкурентов, подберем запросы с низкой конкуренцией, проведем поисковую оптимизацию сайта, организуем внешнюю ссылочную массу, проработаем карточки компании на онлайн картах, проведем базовую UX-аналитику сайта. Над каждым проектом работает от 6 до 10 специалистов. Собственные разработчики для доработки сайта при необходимости. От вас - сайт, от нас - позиции в Яндекс/Google и трафик.
Ваша витрина (сайт, соцсети и пр.)

В большинстве случаев для того, чтобы краулер регулярно сканировал все важные страницы, сайту достаточно быть «здоровым» технически и иметь быструю скорость работы. А вот наличие на сайте нескольких десятков тысяч и более страниц может стать проблемой и потребовать дополнительного управления краулинговым бюджетом. Именно с такой ситуацией столкнулся наш клиент.

Кейс

Клиент Tema4x4 — интернет-магазин проставок для повышения клиренса автомобиля.

Специфика этой ниши заключается в том, что подобных магазинов в России не так уж много и ранжируются они по всей стране. Потенциал тематики — в НЧ и микро-НЧ-трафике. ВЧ-запросов в данной тематике немного, поскольку обычно автовладельцы ищут проставки для своего конкретного автомобиля (например, по запросу «проставки для Рено Логан 2007 года» или «полиуретановые проставки на Форд»).

Поэтому для продвижения сайта мы выбрали стратегию привлечения НЧ- и микро-НЧ-трафика. В соответствии с ней в 2016 году разработали новый сайт.

Основные посадочные страницы сайта — страницы ЧПУ-фильтров, сформированные на основе параметров для выбора проставок:

  • марка автомобиля,
  • модель автомобиля,
  • год выпуска автомобиля,
  • тип проставки,
  • материал.

Фильтрация дает в сумме более 130 тыс. комбинаций и, соответственно, посадочных страниц.

Мы столкнулись с медленным ростом трафика и обратили внимание на плохое индексирование сайта. Поисковый робот посещал малую часть страниц из общей массы, не включал в индекс или не переобходил страницы, пользующиеся наибольшим поисковым спросом. Поэтому мы решили закрыть часть страниц фильтров от индексации.

1 этап

Закрыли от индексации непосещаемые страницы фильтров — те, что были сформированы на основе фильтрации по 2 вариантам одного параметра (например, 2 материала — силиконовые и полиуретановые проставки), а также по всем 5 параметрам.

Это дало прирост трафика более чем в 4 раза.

Сравнение объема трафика от года к году до и после первого этапа закрытия страниц фильтров от индексации
Сравнение объема трафика от года к году до и после первого этапа закрытия страниц фильтров от индексации

2 этап

Закрыли от индексации наименее посещаемые страницы фильтров, а именно те, что были сформированы на основе фильтрации по 4 и по 3 параметрам (здесь брали только те, что не посещались в течение года).

В результате трафик вырос еще в 2 раза.

Сравнение объема трафика от года к году до и после второго этапа закрытия страниц фильтров от индексации
Сравнение объема трафика от года к году до и после второго этапа закрытия страниц фильтров от индексации

Таким образом, мы оставили доступными для индексации 14 % страниц сайта, которые в итоге привлекли и продолжают привлекать наибольшее количество трафика (19 тыс. индексируются, 117 тыс. исключены).

Как управлять краулинговым бюджетом

Чтобы робот-краулер посещал все значимые для индексации и посещения пользователями страницы, необходимо:

  1. Следить за технической оптимизацией (вовремя устранять битые ссылки, избегать цепочек редиректов и т.д.).
  2. Влиять на скорость сканирования сайта. Для этого:
    • перенесите сайт на более быстрый хостинг,
    • сожмите крупные файлы и изображения,
    • настройте кэширование.
  3. Сокращать количество сканируемых страниц сайта:
    • закройте от индексации непопулярные страницы (можно проанализировать инструментом Netpeak Spider в связке с Яндекс.Метрикой);
    • объедините страницы с похожим контентом (например, многочисленные карточки товаров, отличающиеся одним параметром).

Корректное управление краулинговым бюджетом сайта позволяет поисковым роботам посещать наиболее значимые страницы, что в свою очередь способствует своевременному обновлению страницы в индексе и улучшению ранжирования сайта.

Комментарии
ДОБАВИТЬ КОММЕНТАРИЙ
Комплекс услуг для вашего бизнеса
Проанализируем ваши бизнес-цели, ваш бизнес, продукт и текущие продажи, и подберем варианты онлайн-продвижения, которые дадут лучший эффект. Опираемся на наш опыт в самых разных тематиках, т.к. наилучшее решение часто лежит в иной тематики, но которая решает схожую бизнес-задачу. Наша стратегия - готовый пошаговый план по внедрению, с деталями и референсами.
Сертифицированное агентство Яндекса

Обсудим задачи онлайн?
Telegram
WhatsApp
Добавили ваш email
в рассылку
Работающие инструменты SEO, интернет–рекламы, UX от
60 профессионалов
Директ Лайн — агентство интернет–маркетинга с 15-летним опытом, 1200+ клиентами и 50+ специалистами. Мы сами ведем этот блог. Раз в месяц пришлём самые интересные и полезные материалы.
  • #SEO
  • #интернет-реклама
  • #email-рассылки
  • #юзабилити сайта
  • #веб–разработка на bitrix
  • #кейсы
60 профессионалов
Раз в месяц
Без спама и СМС