Битые ссылки и способы борьбы с ними

Что такое битая ссылка?

Битая ссылка (broken links) представляет собой ссылку, ведущую на несуществующую страницу. Попадая на нее, посетителю выводится экран 404 ошибки (каждый ресурс оформляет его по-своему).

Пример 404 страницы

404 – код ответа сервера, указывает на то, что документ отсутствует.

Битые ссылки делятся на две категории:

• Внутренние – URL-адреса, ведущие на внутренние документы сайта.
• Внешние – ссылки на сторонние домены.

Почему битые ссылки – это плохо?

Битые ссылки наносят вред ресурсу, и чем их больше, тем он ощутимее. Представим ситуацию, на сайте публикуется статья, ее репостят в социальных сетях или на своих ресурсах, она попадает в поисковую выдачу. Но по какой-то причине, страница со статьей удаляется или меняется ее URL-адрес и по прошлой ссылке она становится недоступной. Что происходит в этом случае? Вся целевая аудитория, пришедшая на этот адрес, получает 404-ошибку и, скорее всего, покидает сайт. Из-за этого начинает расти процент отказов, что выступает негативным знаком для поисковых систем. В свою очередь, их алгоритмы начинают понижать позиции страницы в органической выдаче, а это прямая потеря трафика/прибыли. Т.е. нужно понять, что наличие битых ссылок – один из признаков некачественного сайта.

К примеру, у Google есть фильтр Broken links, суть которого заключается в отслеживании качества ссылочной массы. Если на сайте присутствует значительное количество битых ссылок, то имеется вероятность попадания под данный фильтр и получения санкций, в виде потери позиций в поисковой выдаче.

Битые ссылки могут тратить понапрасну краулинговый бюджет – определенный лимит запросов (страниц), выделяемый поисковым краулером для индексирования сайта. Если сайт небольшой, то это не приведет к проблемам, а если это активно развивающийся ресурс, например, интернет-магазин, то нехватка краулингового бюджета может обернутся проблемами с индексированием.

Также у этого явления есть еще одна негативная сторона – пользователи, которые получили вместо требуемой информации 404-ошибку, начинают терять доверие к ресурсу в целом, закрывают его и часто не возвращаются.

Откуда берутся битые ссылки?

Причин, по которым появляются битые ссылки, несколько:

• Человеческий фактор, приведший к удалению страницы. Здесь может быть место случайности, но иногда специалист, ответственный за наполнение ресурса не в курсе, что просто удалять материал с сайта нельзя.
• Изменения в ассортименте интернет-магазина, товар или удален, или закончился на складе.
• У документа по какой-то причине поменялся URL-адрес. Опять же это может быть случайность или целенаправленная работа, например, в сторону изменения структуры сайта.

Опытные вебмастера в большинстве случаев умеют определять первопричину появления битых ссылок, а также выявлять закономерности, приведшие к этому.

Способы выявления битых ссылок

Найти битые ссылки на сайте можно различными способами: от специализированных сервисов и программ до систем аналитики и плагинов для CMS, в целом, это достаточно просто.

Консоли вебмастеров

В консолях для вебмастеров от Яндекс и Google можно определить страницы, имеющие битые ссылки.

Google Search Console

Алгоритм поиска через Google Search Console прост, заходим в инструмент, в левом меню находим пункт «Сканирование», здесь разбиты на категории страницы, в том числе и с битыми URL-адресами.

Проверяем раздел «Покрытие» в Google Search Console

Яндекс.Вебмастер

Заходим в панель, в левом меню выбираем пункты «Ссылки – Внутренние ссылки». При наличии битых адресов, инструмент их выведет списком, который можно экспортировать в Excel-формате.

Выявление битых ссылок в Яндекс.Вебмастере

Счетчики web-аналитики

Аналогичным способом можно выявлять битые URL в консолях аналитики Яндекс.Метрике и Google Analytics.

Яндекс.Метрика

Переходим в сервис, в главном меню выбираем путь: «Отчеты – Стандартные отчеты – Содержание – Заголовки страниц». Здесь необходимо понимать, что страницы с битыми ссылками содержат в заголовке код ответа сервера – 404. Соответственно, находим подобные через поиск.

Поиск битых ссылок в Яндекс.Метрике

Ищем битые ссылки по заголовку страниц

Google Analytics

Все то же самое, что и в Яндекс.Метрике – ищем страницы, имеющие в заголовке «404». Предварительно перейдя на страницу инструмента: «Поведение – Контент сайта – Все страницы».

Десктопные программы

Предыдущие способы выявления битых ссылок хороши тем, что полностью бесплатны, но нужно понимать, подобные URl-адреса отобразятся только в случае индексации данных страниц. Если нужно выявить 404-страницы со 100% вероятностью, то рекомендуется использовать специализированный софт.

Xenu’s Link Sleuth

Бесплатная программа-сканер, имеет широкий спектр применения, но нас интересует поиск 404-страниц. Для начала сканирования, переходим в «File – Check URL..», вбиваем адрес изучаемого сайта и запускаем краулер.

Программа Xenu’s Link Sleuth

Отчет по битым ссылкам в программе Xenu’s Link Sleuth

По итогу получаем список страниц, их заголовки и прочую техническую информацию. Здесь же находим столбец «Status», показывающий, соответственно, статус ссылки. «Not found» говорит о том, что ссылка битая. Данная программа еще удобна тем, что столбцы можно сортировать, отобразив битые ссылки вначале списка.

Screaming Frog

Это целый набор полезнейших инструментов для SEO-специалиста. Позволяет проводить детальный анализ состояния сайта и его составляющих, в частности программа способна помочь найти битые ссылки.

Программа Screaming Frog

После сканирования, программа выводит список страниц (предварительно нужно перейти в режим отображения HTML-страниц в правом блоке интерфейса), показывая коды ответов от них. URL можно отсортировать, сгруппировав 404 ответы. В нижем блоке предоставляется детальная информация по выделенному адресу, в частности, можно найти страницу, которая ведет на битый адрес. Это крайне удобная опция, позволяющая оперативно править не только проблемные линки, но и источники, ведущие на них.

Единственная особенность программы Screaming Frog – она платная. В демоверсии разрешается парсить лишь до 500 страниц, в принципе, этого может быть достаточным для небольших проектов. Но, к слову, программа полностью оправдывает свою цену, давая взамен широкий инструментарий.

Site Analyzer

Также является набором инструментов для технического и SEO-анализа сайтов. Для поиска битых ссылок вбиваем адрес сайта, запускаем сканирование, по окончанию включаем отображение только HTML-документов (в правом блоке), и сортируем их по коду ответа. Программа имеет интуитивно понятный интерфейс, который, в отличии от Screaming Frog, имеет русскую локализацию, что упрощает работу для пользователей не владеющих английским.

Поиск битых ссылок на Site Analyzer

В нижней части программы выводится детальная информация по выделенному URL-адресу. Здесь удобно искать источники битых ссылок на сайте.

Онлайн-сервисы

Кроме десктопных программ, среди SEO-специалистов популярны онлайн-сервисы. Они удобны тем, что скорость выполнения задач гораздо выше софта, т.к. работа последнего зависит от мощности пользовательского компьютера и скорости доступа в интернет. Также тяжеловесные задачи могут выполняться на фоне, не требуя при этом постоянно включенного компьютера. И в дополнение, некоторые задачи, как например парсинг ресурса, содержащего сотни тысяч страниц, могут выполняться лишь на исключительно мощном железе.

Serpstat

Как заявляют разработчики – это многофункциональная платформа для SEO-специалистов. Перечислять весь список возможностей сервиса нет смысла, но скажем, что сканировать ресурс на битые ссылки он точно умеет.

Базовый тариф равен 69$/мес, а для крупных компаний предлагаются индивидуальные решения.

Онлайн-сервис Serpstat

Тарифные планы Serpstat

Brokenlinkcheck.com

Это бесплатный сервис, ориентированный исключительно для проверки сайта на битые ссылки. Просто вбиваем адрес сайта, капчу и запускаем. Нужные нам адреса выводятся таблицей.

Brokenlinkcheck.com

Drlinkcheck.com

Также англоязычный сервис-сканер, позволяет проверять сайт на битые ссылки, но если ресурс содержит более 1500 страниц, то за использование платформы придется платить.

Сервис-сканер Drlinkcheck.com

Тарифные планы сервиса Drlinkcheck.com

Плагины

Для популярных CMS существуют плагины, которые позволяют проверять сайт на битые ссылки из админ-панели Например, для WordPress выделяются Broken Link Checker, Link Checker и WP Broken Link Status Checker. Само сканирование может происходит с ручным запуском или автоматическим, во втором случае, это происходит по расписанию, а по итогу проверки, администратор уведомляется о ее результатах.

Помните, что если ресурс содержит в себе большое количество страниц, то сканирование с помощью плагинов, может оказывать существенную нагрузку на сервер. Поэтому каждая проверка должна быть оправданной, а лучше для этого использовать онлайн-сервисы.

Как удалить битые ссылки с сайта правильно?

Способы борьбы с битыми ссылками зависят от конкретной ситуации:

• Если страница была удалена по ошибке, то ее достаточно восстановить (проследив при этом, чтобы она была доступна по старому адресу).
• При изменении структуры сайта, повлекшей корректировки URL существующих документов, следует поставить 301-редирект со старой страницы на актуальную. Рекомендуется регулярно отслеживать статус документов, особенно тех, на который есть трафик.
• Аналогичным способом действуем в интернет-магазине, в котором часто меняется ассортимент – настраиваем 301-редирект на категорию товаров или на аналогичное предложение. Не лишним будет проработать 404-страницу ошибки, обратите внимание как она оформлена у крупных игроков рынка, например, М-Видео. Она должна предлагать пользователю альтернативу действий, направлять его на другие разделы или страницы сайта, и в целом, не вызывать раздражения.

Как видно из примеров, в подавляющем большинстве случаев, если не планируется восстановление страницы по старому адресу, с него должен обязательно быть настроен 301-редирект. Другими словами, пользователь должен куда-то перенаправляться, наша задача удержать его на ресурсе, минимизировав таким образом, процент отказов.

Что делать с битыми ссылками на ваш сайт с чужих ресурсов?

Здесь все гораздо сложнее, т.к. прямого доступа к чужому ресурсу у вас нет. Вот варианты борьбы с битыми ссылками на сторонних площадках:

• Связь с администрацией, с просьбой исправить/удалить ссылку – наиболее приемлемый вариант в данной ситуации. В большинстве случаев, если это не «мертвый» ресурс, админы идут на встречу.
• Если однотипных ссылок много (URL, ведущих на одну и ту же несуществующую страницу), то настраиваем 301-редирект на своем сайте, направляя посетителей на нужные документы. Но лучше в этом случае восстановить страницу по старому адресу, т.к. ссылочная масса играет важнейшую роль в SEO-продвижении.
• В некоторых случаях можно воспользоваться инструментом, к сожалению, актуальным только для системы Google – Disavow Links Tool. Он позволяет уведомить поисковик о тех ссылках на сторонних ресурсах, которые не нужно учитывать при ранжировании вашего сайта.

Как часто проверять линки на сайте?

После прочитанного, возникает резонный вопрос – а как часто нужно искать битые ссылки на сайте? Ответ прост, все зависит от конкретно взятого ресурса, а точнее, от частоты его обновления и количества документов. Логично, чем больше размер сайта, тем вероятнее появления 404-ошибок.

Небольшие проекты достаточно проверять раз в несколько месяцев. Интернет-магазины, крупные новостные сайты и подобные ресурсы, над которыми работают несколько контент-менеджеров, рекомендуется сканировать не реже двух раз в месяц.

Появление битых ссылок следует избегать, в противном случае они будут якорем на всем пути продвижения сайта.