Отслеживание процесса индексации сайта — важный этап в его продвижении. Иногда случается так, что страницы сайта выпадают из индекса поисковых систем. Это приводит к падению органического трафика. Если вы столкнулись с этой проблемой, в первую очередь определите ее причину. В этой статье мы расскажем, почему страницы сайта могут выпадать из индекса и что с этим делать.
Причины, по которым страницы выпадают из индекса
Их довольно много. Ниже перечислим основные и наиболее часто встречающиеся.
Страницы низкого качества
Страницы, наполненные контентом низкого качества, попадают под фильтры АГС Яндекса и Panda Google.
Страница сайта может быть признана некачественной по ряду признаков, основной из которых — неуникальный контент. Главная задача поисковиков — дать как можно более четкий ответ на запрос пользователя. Наличие в индексе двух одинаковых по содержанию страниц мешает этому процессу, поэтому поисковые алгоритмы понижают или полностью удаляют такие страницы из выдачи. Будьте готовы к этому, если контент на некоторых страницах вашего сайта скопирован с других ресурсов.
Перед публикацией текстов обязательно нужно проверять их на уникальность. Сделать это можно с помощью любого специализированного сервиса:
- text.ru.
- eTXT.ru.
- advego.ru.
Проверка текста на уникальность
Чтобы страница сайта не попала под фильтр, уникальность текста на ней должна быть не ниже 75-90 %. Также не допускаются:
- искусственная генерация контента (например, синонимайзерами);
- публикация текстов с большим количеством ошибок;
- закрывание фрагмента текста от пользователя.
Дубли страниц
Если дубли появляются в процессе использования CMS (системы управления содержимым сайта), рекомендуем:
- Настроить CMS таким образом, чтобы дубли больше не генерировались.
- Настроить 301 редирект со страницы-дубля на основную страницу.
- Добавить дублю метатег (в блок <head>), ведущий на основную страницу: <link rel=»canonical» href=»https://URL сайта/1.html»/>.
Неуникальные сниппеты
Если сниппет страницы вашего сайта дублирует сниппет конкурента, то один из них будет скрыт в выдаче Яндекса. Эта ситуация типична для интернет-магазинов, в каталогах которых есть одинаковые позиции. Чтобы избежать этого, рекомендуется использовать уникальное описание страницы, в частности метатег description, который участвует в формировании сниппета.
О том, что вы столкнулись именно с этой ситуацией, вы поймете по потере позиций по основным запросам. Для решения проблемы поменяйте текущее описание на уникальное и дождитесь апдейта.
Переоптимизация
Качественная SEO-оптимизация важна для продвижения ресурса, но не стоит увлекаться и забывать, что в первую очередь страница должна решать проблему пользователя. Пренебрежение этим правилом и ориентация исключительно на поисковые системы грозит попаданием под фильтры Баден-Баден Яндекса и Panda Google. Во избежание проблем не злоупотребляйте ключевыми словами, используйте их и в теле статьи, и в метатегах лишь при необходимости.
Если сайт все же попал под фильтр, проверьте содержимое страницы на переспам и перепишите те части текста, которые содержат нелогичные смысловые конструкции.
К слову, хорошие авторы могут использовать в своих текстах прямые вхождения, но тексты при этом будут естественными и читабельными.
Некачественные обратные ссылки
Не все обратные ссылки на страницы сайта полезны. Если страницы выпали из индекса, причиной может быть некачественный ссылочный профиль. Дело в том, что поисковик определяет авторитетность ресурса по количеству и качеству обратных ссылок. По этой причине некоторые SEO-специалисты иногда прибегают к накрутке. Поисковые машины борются с этим явлением, используя фильтры Минусинск (Яндекс) и Penguin (Google).
Конечно, применение фильтров не всегда приводит к выпадению страниц сайта из индекса (особенно это касается Google). Зачастую фильтры негативно влияют лишь на позиции сайта, но все же мы рекомендуем вам аккуратно работать с линкбилдингом.
Ошибки в robots.txt
Этот файл отвечает за индексирование сайта. Именно через него поисковый краулер понимает, какие директории или страницы можно индексировать, а какие нет. Иногда вебмастера допускают грубые ошибки в robots.txt, из-за которых сайт перестает индексироваться. Найти страницы с ошибками в файле robots.txt можно в Яндекс.Вебмастере: «Индексирование» => «Структура в поиске» => «Исключенные страницы». О том, что причина исключения страницы именно в ошибочном robots.txt, вы узнаете из сообщения с текстом «При обращении к странице роботу не удалось получить ее содержимое».
При возникновении проблем с индексацией проверьте также метатеги. Кроме ошибок в файле robots.txt, поисковики крайне чувствительны к HTML-тегам. Например, наличие тега Meta Refresh негативно влияет на индексирование в Google.
Смена URL
Если у страницы сменился URL, то ее старый адрес выпадет из индекса. В высококонкурентных нишах бывает так, что страница по новому адресу крайне долго возвращается на прежнюю позицию. Поэтому, если вам необходимо сменить URL, обязательно настройте 301 редирект со старого адреса на новый.
Аффилированность
Страницы могут выпасть из индекса Яндекса, если сайт признан аффилиатом. Поисковые системы борются за разнообразие выдачи: в ней не могут одновременно присутствовать два ресурса одной компании, продвигающиеся по одному и тому же пулу ключевых фраз. Аффилиаты определяются по ряду признаков (например, по одинаковым контактным данным компаний).
Продажа ссылок
Как упоминалось выше, поисковики против любой накрутки SEO-параметров. При бесконтрольном размещении на сайте ссылок на посторонние ресурсы (особенно это касается продажи ссылок) вы рискуете попасть под санкции, в том числе и те, которые приведут к выпадению страниц из индекса.
Выйти из-под таких фильтров сложно, потребуется много времени, а результат не гарантирован. Поэтому не рекомендуется размещать на сайте платные ссылки. А если все же требуется разместить некую сомнительную ссылку, то закройте ее атрибутом nofollow.
Вредоносный код на сайте
На сайт с вредоносным кодом накладываются санкции, независимо от того, как код появился: был ли это взлом или целенаправленное действие вебмастера.
Некачественный хостинг
Если на сайте часто возникает ошибка 404, поисковик может удалить его страницы из выдачи. В большинстве случаев это происходит по вине хостинг-провайдеров, которые предоставляют некачественные услуги. Поэтому важно обращать внимание на скорость загрузки страниц и на то, чтобы они всегда были доступны для индексации.
Где найти список исключенных из индекса страниц
Проанализировать проиндексированные и исключенные из индекса страницы можно в нескольких инструментах.
Яндекс.Вебмастер
В разделе «Индексирование» представлено несколько подробных отчетов. Здесь вы можете узнать, какое количество страниц находится в поиске в текущий момент, сколько из них выпало из индекса Яндекса и т.д.
Статистика обхода
Страницы в поиске
Явным признаком наличия проблем с сайтом считается большая разница между количеством проиндексированных страниц и количеством страниц в поиске.
В разделе «Мониторинг важных страниц» вы можете добавить список страниц, наблюдать за которыми особенно важно.
Добавление списка страниц в разделе «Мониторинг важных страниц»
Google Search Console
Здесь в разделе «Покрытие» вы сможете подробно изучить проблемные страницы.
Заходим в раздел «Покрытие»
Сведения о п0роблемных страницах
RDS Bar
Данное дополнение к браузерам Google Chrome и Mozilla Firefox позволяет смотреть статус текущей страницы.
Проверка индексации в RDS Bar
Итак, мы выяснили основные проблемы, из-за которых страницы сайта выпадают из поискового индекса, и рассмотрели способы их решения. Применяя эту информацию на практике, вы сможете избежать подобных ситуаций.
