Закрывать от индексации или нет: правильная оптимизация страниц пагинации

Что такое страницы пагинации и как они выглядят

Без пагинации длинные интернет-страницы были бы похожи на огромный свиток, который приходится раскручивать метр за метром в поисках нужной информации. Это, прежде всего, интернет-магазины, блоги, сайты-справочники и т.д.

Чтобы представить ассортимент товаров или информационные ресурсы в наиболее удобном для пользователя виде, разработчики обращаются к следующим видам пагинации:

• Нумерация страниц. Массив данных делится на блоки, каждый из которых получает свой порядковый номер. Для быстрого перехода между блоками предусматриваются кнопки «Назад» и «Далее». Этот вид пагинации часто используется для каталогов интернет-магазинов.

Пагинация в виде нумерации страниц

• Алфавитный порядок. Это оптимальное решение для информационных сайтов, справочников и словарей.

Пагинация в виде алфавитного порядка

• Пагинация датами. Она используется на новостных порталах. Распределение данных в хронологическом порядке востребовано также на информационных сайтах, где важна дата публикации статьи.

Пример пагинации датами

Возможные проблемы с индексацией пагинации

Существует ряд сложностей, которые возникают при индексации страниц с пагинацией:

1. Дублирование данных. Чаще всего элементы пагинации имеют похожий или полностью идентичный контент. Нередко их мета-теги Title и Description тоже совпадают. Поисковые боты могут идентифицировать такие страницы как дубли. Выявить наличие полностью идентичных разделов сайта можно при помощи сервисов Google Search Console и Netpeak Spider. Внутренние дубликаты по тексту, появляются в тех случаях, когда контент повторяется на всех элементах пагинации. Внутренние дубликаты можно найти путем проверки текста на плагиат. Для этого используется Advego либо другие сервисы антиплагиата.
2. Неправильная поисковая выдача. Вместо главной страницы поисковый бот может предложить пользователю любой другой раздел сайта.
3. Расход бюджета на индексацию. Зачастую поисковые роботы тратят массу времени на обход всех разделов сайта, а нужные блоки так и не попадают в поисковую выдачу.
4. Чрезмерная нагрузка на сервер. Эта проблема напрямую связана с предыдущей. Во время сканирования сайта поисковый бот создает неоправданную нагрузку на сервер.
5. Плохая индексация страниц с пагинацией. Эта проблема может быть связана с тем, что все страницы пагинации закрыты в robots.txt. Бот-поисковик не посещает каталог сайта и не выводит конкретные элементы в результатах поиска.

Чтобы избежать всех этих сложностей, важно грамотно оптимизировать страницы пагинации в рамках общей оптимизации сайта.

Нужно ли закрывать пагинацию от индексации?

Определенно, не нужно. В подобном случае элементы веб-сайта не будут индексироваться поисковыми системами. Боты Яндекса и Гугла попросту не смогут понять, какой контент представлен на сайте, и не будут показывать его страницы по релевантным запросам пользователей. Это особенно нежелательно для интернет-магазинов, которым важно продемонстрировать содержимое своих каталогов потенциальным покупателям.

Чтобы пагинация не мешала продвижению веб-ресурса, ее не нужно закрывать от индексации. Вместо этого следует грамотно настроить работу сайта.

Что рекомендует Яндекс?

В блоге Яндекса представлены следующие рекомендации: указать посредством атрибута rel="canonical" в теге <link> адрес канонической страницы. Это наиболее предпочитаемая страница в группе страниц-дублей. Именно она будет индексироваться и принимать участие в результатах поиска, в то время как остальные разделы сайта будут видны для поисковых ботов, но не смогут участвовать в поисковой выдаче.

В целом, эксперты Яндекса советуют веб-мастерам ориентироваться, прежде всего, на содержимое сайта. Если отдельные страницы пагинации содержат данные, которые могут быть интересны для посетителей веб-ресурса, закрывать их от индексации не следует. Лучше сделать эти разделы доступными для роботов-поисковиков. Если содержимое конкретных страниц полностью дублируется в других разделах сайта, их индексирование можно прекратить посредством атрибута rel="canonical" или через мета-тег noindex.

Рекомендации Google

Представители этой поисковой системы предлагают разработчикам три решения:

• Довериться алгоритмам Гугл и не оптимизировать страницы с пагинацией. Робот-поисковик самостоятельно выберет раздел с самым релевантным содержимым и продемонстрирует его по соответствующему запросу пользователя.
• Создать общий раздел, в котором будет отражен весь ассортимент товаров и все возможные категории. На него можно будет ссылаться со всех элементов пагинации. Для этой страницы указать атрибут pageall. Вставлять атрибут rel="canonical" в код всех страниц пагинации, начиная с первой, на страницу со всеми товарами — pageall.

Выбирая схему с rel=”canonical”, следует, однако, помнить, что этот элемент не является обязательным, поэтому поисковая система может попросту проигнорировать его.

Как оформить страницы пагинации: оптимальное решение

Итак, решения, которые актуальны на 2020 год:

1. Использовать rel="canonical" для страницы с полным ассортиментом (pageall). Если у сайта предусмотрен раздел с полным перечнем товаров или статей, можно настроить rel="canonical" со всех страниц пагинации на этот раздел. Это наиболее простой способ показать ботам-поисковикам, что индексировать нужно именно эту страницу. Текстовый материал, оптимизированный под поисковые системы, следует разместить в общем разделе. Дублировать его на страницах пагинации не нужно. При этом важно, чтобы страница с полным перечнем товаров хорошо грузилась, не заставляя пользователей ждать. В противном случае они будут уходить с сайта и ухудшать поведенческие параметры. Поэтому если в каталоге очень много товаров, этот вариант оптимизации страниц пагинации вряд ли подойдет. Представители Google считают этот метод приоритетным.
2.  Использовать rel="canonical” со всех элементов пагинации на стартовую страницу. Если на страницах пагинации в ссылке на первый раздел автоматически добавляется параметр диапазона страниц, его нужно убрать. Текст должен располагаться только в основном разделе. Дублировать его на страницах категорий и отдельных товаров не нужно. На всех страницах пагинации необходимо настроить атрибут rel=”canonical” на основной раздел. Далее генерируются мета-теги Title и Description для всех элементов пагинации на основе базового шаблона. Данный подход практически полностью устраняет проблему повторения основных страниц сайта. Его же рекомендуют представители Яндекса.

Какой вариант использования атрибута rel="canonical” выбрать, нужно решать отталкиваясь от того подходит ли он конкретно вашему сайту. Если говорить о крупных интернет-магазинах, то как правило используется второй вариант.

Оптимизации страниц пагинации следует уделять особое внимание. Если полностью закрыть эти элементы сайта от роботов-поисковиков, то важные разделы не будут индексироваться либо окажутся некачественными с точки зрения Яндекса и Гугла.

Оптимальный метод оптимизации пагинации — открыть все похожие страницы для индекса, а текстовый материал расположить только на главной. Первый раздел сделать доступным только по веб-адресу без указания на пагинацию. При этом важно, чтобы мета-теги не дублировали друг друга.