Отслеживание процесса индексации сайта — важный этап в его продвижении. Иногда случается так, что страницы сайта выпадают из индекса поисковых систем. Это приводит к падению органического трафика. Если вы столкнулись с этой проблемой, в первую очередь определите ее причину. В этой статье мы расскажем, почему страницы сайта могут выпадать из индекса и что с этим делать.
Их довольно много. Ниже перечислим основные и наиболее часто встречающиеся.
Страницы, наполненные контентом низкого качества, попадают под фильтры АГС Яндекса и Panda Google.
Страница сайта может быть признана некачественной по ряду признаков, основной из которых — неуникальный контент. Главная задача поисковиков — дать как можно более четкий ответ на запрос пользователя. Наличие в индексе двух одинаковых по содержанию страниц мешает этому процессу, поэтому поисковые алгоритмы понижают или полностью удаляют такие страницы из выдачи. Будьте готовы к этому, если контент на некоторых страницах вашего сайта скопирован с других ресурсов.
Перед публикацией текстов обязательно нужно проверять их на уникальность. Сделать это можно с помощью любого специализированного сервиса:
Проверка текста на уникальность
Чтобы страница сайта не попала под фильтр, уникальность текста на ней должна быть не ниже 75-90 %. Также не допускаются:
Если дубли появляются в процессе использования CMS (системы управления содержимым сайта), рекомендуем:
Если сниппет страницы вашего сайта дублирует сниппет конкурента, то один из них будет скрыт в выдаче Яндекса. Эта ситуация типична для интернет-магазинов, в каталогах которых есть одинаковые позиции. Чтобы избежать этого, рекомендуется использовать уникальное описание страницы, в частности метатег description, который участвует в формировании сниппета.
О том, что вы столкнулись именно с этой ситуацией, вы поймете по потере позиций по основным запросам. Для решения проблемы поменяйте текущее описание на уникальное и дождитесь апдейта.
Качественная SEO-оптимизация важна для продвижения ресурса, но не стоит увлекаться и забывать, что в первую очередь страница должна решать проблему пользователя. Пренебрежение этим правилом и ориентация исключительно на поисковые системы грозит попаданием под фильтры Баден-Баден Яндекса и Panda Google. Во избежание проблем не злоупотребляйте ключевыми словами, используйте их и в теле статьи, и в метатегах лишь при необходимости.
Если сайт все же попал под фильтр, проверьте содержимое страницы на переспам и перепишите те части текста, которые содержат нелогичные смысловые конструкции.
К слову, хорошие авторы могут использовать в своих текстах прямые вхождения, но тексты при этом будут естественными и читабельными.
Не все обратные ссылки на страницы сайта полезны. Если страницы выпали из индекса, причиной может быть некачественный ссылочный профиль. Дело в том, что поисковик определяет авторитетность ресурса по количеству и качеству обратных ссылок. По этой причине некоторые SEO-специалисты иногда прибегают к накрутке. Поисковые машины борются с этим явлением, используя фильтры Минусинск (Яндекс) и Penguin (Google).
Конечно, применение фильтров не всегда приводит к выпадению страниц сайта из индекса (особенно это касается Google). Зачастую фильтры негативно влияют лишь на позиции сайта, но все же мы рекомендуем вам аккуратно работать с линкбилдингом.
Этот файл отвечает за индексирование сайта. Именно через него поисковый краулер понимает, какие директории или страницы можно индексировать, а какие нет. Иногда вебмастера допускают грубые ошибки в robots.txt, из-за которых сайт перестает индексироваться. Найти страницы с ошибками в файле robots.txt можно в Яндекс.Вебмастере: «Индексирование» => «Структура в поиске» => «Исключенные страницы». О том, что причина исключения страницы именно в ошибочном robots.txt, вы узнаете из сообщения с текстом «При обращении к странице роботу не удалось получить ее содержимое».
При возникновении проблем с индексацией проверьте также метатеги. Кроме ошибок в файле robots.txt, поисковики крайне чувствительны к HTML-тегам. Например, наличие тега Meta Refresh негативно влияет на индексирование в Google.
Если у страницы сменился URL, то ее старый адрес выпадет из индекса. В высококонкурентных нишах бывает так, что страница по новому адресу крайне долго возвращается на прежнюю позицию. Поэтому, если вам необходимо сменить URL, обязательно настройте 301 редирект со старого адреса на новый.
Страницы могут выпасть из индекса Яндекса, если сайт признан аффилиатом. Поисковые системы борются за разнообразие выдачи: в ней не могут одновременно присутствовать два ресурса одной компании, продвигающиеся по одному и тому же пулу ключевых фраз. Аффилиаты определяются по ряду признаков (например, по одинаковым контактным данным компаний).
Как упоминалось выше, поисковики против любой накрутки SEO-параметров. При бесконтрольном размещении на сайте ссылок на посторонние ресурсы (особенно это касается продажи ссылок) вы рискуете попасть под санкции, в том числе и те, которые приведут к выпадению страниц из индекса.
Выйти из-под таких фильтров сложно, потребуется много времени, а результат не гарантирован. Поэтому не рекомендуется размещать на сайте платные ссылки. А если все же требуется разместить некую сомнительную ссылку, то закройте ее атрибутом nofollow.
На сайт с вредоносным кодом накладываются санкции, независимо от того, как код появился: был ли это взлом или целенаправленное действие вебмастера.
Если на сайте часто возникает ошибка 404, поисковик может удалить его страницы из выдачи. В большинстве случаев это происходит по вине хостинг-провайдеров, которые предоставляют некачественные услуги. Поэтому важно обращать внимание на скорость загрузки страниц и на то, чтобы они всегда были доступны для индексации.
Проанализировать проиндексированные и исключенные из индекса страницы можно в нескольких инструментах.
В разделе «Индексирование» представлено несколько подробных отчетов. Здесь вы можете узнать, какое количество страниц находится в поиске в текущий момент, сколько из них выпало из индекса Яндекса и т.д.
Статистика обхода
Страницы в поиске
Явным признаком наличия проблем с сайтом считается большая разница между количеством проиндексированных страниц и количеством страниц в поиске.
В разделе «Мониторинг важных страниц» вы можете добавить список страниц, наблюдать за которыми особенно важно.
Добавление списка страниц в разделе «Мониторинг важных страниц»
Здесь в разделе «Покрытие» вы сможете подробно изучить проблемные страницы.
Заходим в раздел «Покрытие»
Сведения о п0роблемных страницах
Данное дополнение к браузерам Google Chrome и Mozilla Firefox позволяет смотреть статус текущей страницы.
Проверка индексации в RDS Bar
Итак, мы выяснили основные проблемы, из-за которых страницы сайта выпадают из поискового индекса, и рассмотрели способы их решения. Применяя эту информацию на практике, вы сможете избежать подобных ситуаций.
1 место
SEO для e-commerce
RatingRuneta.ru
9 место
В топ-100 SEO-
компаний России
11 место
В топ-100 SEO-
агентств Рунета
Золотая сотня
Российского Digital
В ТОП-10
«SEO глазами клиентов»