Обсудим ваш проект?

18 способов как ускорить индексацию сайта


Просмотров:
1366
Время на прочтение:
Статья обновлена:
14 Августа 2020
Информация о статье
Просмотров: 1366
Время на прочтение:
Статья обновлена: 14.08.2020
Дарья Иванова, редактор
Наталья Штанюк, руководитель отдела SEO-продвижения
Дарья Иванова, редактор
Наталья Штанюк, руководитель отдела SEO-продвижения

Для получения органического трафика, страницы сайта должны быть проиндексированы поисковым краулером, но процесс этот может затянуться по определенным причинам. Ниже поговорим о том, как ускорить индексацию, информация будет актуальной как для Яндекса, так и для Google.

1. Карта сайта

Карта сайта – файл, в котором содержатся адреса всех страниц ресурса, он находится в корне файловой системы и носит имя Sitemap. Перед началом индексирования, поисковый робот обращается к этому файлу, после проходит все (если не позволяет краулинговый бюджет, то часть) указанные в нем страницы. Такая карта создается в формате XML, как вручную, так и с помощью специальных сервисов или плагинов для CMS. Кроме XML карты, можно создать отдельную HTML страницу, содержащую в себе ссылки на все страницы сайта.

После создания карты, ее нужно загрузить в Вебмастере Яндекса и в Google Search Console в соответствующие разделы.

Загрузка карты сайта в Яндекс Вебмастер
Загрузка карты сайта в Яндекс Вебмастер

Загрузка карты сайта в Google Search Console
Загрузка карты сайта в Google Search Console

Нужно понимать, что карта сайта должна либо обновляться автоматически, либо вручную при добавлении нового материала.

2. Создание robots.txt

В данном файле указывают правила индексирования тех или иных страниц, разделов и сайта в целом. Не все страницы могут быть полезны для пользователя, поэтому их важно закрыть от индексации. Сделать это можно в файле robots.txt, прописав специальную директиву. 

Путь до карты сайта прописывается также в этом файле.

Синтаксис позволяет применять для определенных поисковиков уникальные правила.

Если robots.txt заполнен корректно и исключает из индекса все мусорные страницы, то это положительно влияет на скорость индексации (а в некоторых случаях и на ранжирование) ресурса. Подробнее про файл robots.txt можно прочитать в Яндекс Справке.

3. Сайт с правильной структурой

Один из основных факторов, влияющих на скорость индексации – логически правильная структура сайта. Желательно избегать таких структур, при которых страница может оказаться более чем на 5-ом уровне вложенности, что усложнит работу краулеру. Идеал до 3-х уровней вложенности. О том, как проверить и сократить уровень вложенности страниц мы писали в соответствующей статье блога.

4. Перелинковка внутренних страниц

Кроме ссылок в общем меню, рекомендуется продумать дополнительную перелинковку страниц. Дело в том, что краулер имеет возможность посещать только те страницы, на которые имеются ссылки. Наиболее действенным вариантом будет размещение URL-адресов на посещаемых страницах, например, главной.

К внутренней перелинковке также относятся блоки рекомендованных товаров, похожих или новых материалов, гиперссылки внутри статьи с анкорами, которые могут содержать ключевые слова.

Рекомендуется проставлять ссылки обдуманно, чтобы страница донора и акцептора были релевантными между собой. Также должен соблюдаться принцип, при котором на любую полезную для пользователя страницу, ведет внутренняя ссылка.

Хлебные крошки являются элементом навигации и улучшают внутреннюю перелинковку.

5. Качество текстов

Не допускается публикация дублей текстового контента с других ресурсов, с этим поисковики активно и успешно борются. Контент в первую очередь, должен быть уникальным и полезным для посетителя. Что касается уникальности, то она легко проверяется в одном из многочисленных сервисов, в том числе и на поверхностный рерайт.

К качеству текстов можно отнести и подход к их SEO оптимизации. Если на странице присутствует большое количество переспама и воды, то она скорее всего не проиндексируется краулером.

Помните, поисковые алгоритмы хорошо понимают структуру текста, и даже неправильные окончания или многочисленные орфографические ошибки, могут стать причиной плохой индексации сайта или даже попадания его под фильтры.

Объем текста может влиять на индексацию страницы в целом, поэтому рекомендуется публиковать статьи более 1500 символов.

6. Дубли страниц

Созданием дублей грешат многие CMS. Одна и та же страница может иметь разные URL-адреса, в зависимости от того, в каком месте она публикуется.

Примеры дублей страниц:

  • url.ru/str.html
  • url.ru/str
  • url.ru/str/

По факту, это одна страница, но для поисковика разные, точнее по разным адресам он видит одну и ту же. Если сайт небольшой, то робот отбросит 3 URL, оставив в индексе один, но если страниц много, то проблем с индексацией не избежать.

Чтобы закрыть вопрос создания дублей, следует установить и настроить плагин на свою CMS систему, благо под большинство они уже есть в готовом варианте. Плагин, как правило, не только удаляет дубли, но и создает 301 редиректы в файле .htaccess.

7. Регулярное наполнение сайта

Если ресурс наполняется нерегулярно, то робот может растянуть диапазон между своими визитами, что в свою очередь, значительно замедлит попадание новых страниц в индекс. 

Если говорить о публикации новых материалов, то рекомендуется делать это не реже раза в неделю, тогда сайт будет выглядеть «живым» в глазах поисковиков. А если же страницы будут появляться ежедневно, то через определенное время краулер будет посещать ресурс по несколько раз в сутки.

8. Панели вебмастеров

Новый сайт сразу после его создания, рекомендуется добавить в панели вебмастеров Яндекса и Гугла: Вебмастер и Search Console.

Добавление сайта в Яндекс Вебмастер
Добавление сайта в Яндекс Вебмастер

Добавление сайта в Google Search Console
Добавление сайта в Google Search Console

Внутри этих панелей происходит добавление файлов карт сайта, отслеживание основных показателей, а также там можно увидеть многочисленные рекомендации по улучшению ресурса в целом.

При добавлении, будьте готовый к тому, что придется подтвердить права владельца ресурса. Делается это разными способами, например, с помощью специального файла, который необходимо будет разместить в корне сайта.

9. Переобход страниц

Чтобы сообщить Яндексу о новых страницах, следует в Вебмастере зайти в «Индексирование-Переобход страниц», и добавить список URL-адресов.

Добавление списка URL для переобхода
Добавление списка URL для переобхода

О статусе переобхода отправленных страниц можно узнать на этой же странице Яндекс Вебмастера.

10. Google Indexing API

Чтобы ускорить индексацию новых страниц в Google, имеется специальная технология – Google Indexing API. В официальной справке сказано, что она ориентирована лишь на сайты с видеоконтентом и вакансиями. Но по факту, поддерживаются ресурсы с другими типами контента.

После подключения Indexing API, в Google будут автоматически отправляться запросы с информацией о новых, обновленных или удаленных страницах.

11. Скорость загрузки страниц

Важнейший параметр, который влияет на качество индексации и ранжирования в целом. Для проверки скорости загрузки отдельно взятой страницы можно использовать сервис PageSpeed Insights, там же будут даны подробные рекомендации по оптимизации ресурсов (медиа, кода и т.д.).

Также эта информация доступна в Яндекс Метрике, в отчете «Время загрузки страниц». 

Отчет о времени загрузки страниц
Отчет о времени загрузки страниц

12. Обратные ссылки с тематических ресурсов

Ссылочная масса – один из основных инструментов SEO продвижения. Но влияет она не только на ранжирование сайта, но и на скорость его индексации. К примеру, разместив ссылку на тематическом ресурсе (сайт схожей тематики), ведущую на новую страницу вашего сайта, вы поможете крайлеру быстрее о ней узнать.

13. Ссылки с социальных сетей

Получить ссылку на страницу сайта можно путем ведения своей группы в одной из ведущих социальных сетей (ВК, FB, Instagram, Твиттер). Особенное влияние это имеет на пауков Google, при такой публикации, новая страница может «залетать» в индекс буквально за считанные часы. Особенно это касается ссылок из Твиттера. Для Яндекса к Твиттеру стоит добавить «ВКонтакте». Правило простое – чем больше активности в соц. сетях, тем чаще вас посещают краулеры.

Если нет возможности полноценно вести соц. сети, то как вариант, стоит попробовать кросс-постинг. То есть после публикации материала на сайте, его вступительная часть копируется в пост социальной сети и делается ссылка на страницу. В таком случае первоисточником будет выступать сайт, но краулер гораздо быстрее доберется до опубликованной страницы.

14. Размещение сайта в различных рейтингах

Также увеличивает ссылочную массу ресурса и ускоряет его индексацию. В качестве таких рейтингов можно выделить:

  • Рейтинг Mail.ru.
  • Рамблер Топ 100.
  • LiveInternet.

Добавление сайта в рейтинг Mail.ru
Добавление сайта в рейтинг Mail.ru

Размещение сайта в рейтинге Рамблер Топ 100
Размещение сайта в рейтинге Рамблер Топ 100

Рейтинг LiveInternet
Рейтинг LiveInternet

15. Ссылки в комментариях

Большинство блогов работают на системе Wordpress, у которой имеется возможность комментирования с прикреплением ссылки на свой сайт. Первое, что нужно сделать – найти тематические блоги, в которых автор разбирает смежную тематику. После идем в комментарии, пишем осмысленный текст, но вместо ссылки на сайт, ставим ее на страницу.

Главное правило – блог должен быть схожей тематики, иначе такая ссылка может засчитаться за неестественную (поставленную для манипуляций факторами ранжирования). Если добавить ссылку в тело комментария, она, скорее всего, не пройдет модерацию.

16. Ссылки с форумов

На форумах можно (если допускается администрацией) вести диалоги, ссылаясь на свой ресурс. Кроме этого, в настройках профиля часто встречается поле «Сайт», которое рекомендуется заполнить. Однако этот метод довольно-таки сложен в исполнении, т.к. высокопосещаемые форумы активно модерируются, посторонние ссылки не допускаются.

Постинг на форумах с обратными ссылками имеет свои нюансы, и если нет опыта, то лучше доверить это специалистам. Услуга называется «Крауд-маркетинг».

17. Пингование

С помощью пингования, поисковые системы оповещаются при появлении нового контента. В Wordpress эта функция реализована уже «из коробки», достаточно указать в админке ссылки на специальные сервисы.

Функция пингования в Wordpress
Функция пингования в Wordpress

Вот сервисы, которые используются для пингования:

  • Pingomatic;
  • Pingler;
  • Pingoat.

Помните, при частом пинговании, поисковики могут принять это за спам.

18. Ловец ботов

Схема актуальна для многостраничных проектов, достаточно сложна в исполнении. Ловец ботов – программный алгоритм, которые следит за процессом индексации краулером, указывая ему ссылки на нужные (непроиндексированные ранее) страницы. Работает он по принципу отслеживания посещенных роботом страниц в логах сервера. В рамках данной статьи не будем углубляться в эту тему, но при продвижении крупных сайтов стоит иметь ее в виду, обратившись при этом к компетентным командам (SEO, программисты).


Продвинем ваш сайт!
Помогли более 1000 сайтам получить высокие позиции и качественный трафик из Яндекс и Google. Подходим комплексно: аналитика, SEO-оптимизация, контент, ссылки, юзабилити. Над каждым проектом работает от 6 до 10 специалистов. Работаем по любой схеме — абонентская плата / оплата за позиции / оплата за трафик / оплата за лиды.

1 место SEO для e-commerce RatingRuneta.ru

1 место
SEO для e-commerce
RatingRuneta.ru

9 место в Топ-100 SEO-компаний России

9 место
В топ-100 SEO-
компаний России

11 место в топ-100 SEO-агентств Рунета

11 место
В топ-100 SEO-
агентств Рунета

Золотая сотня
Российского Digital

в топ-10 в SEO глазами клиентов 2014, 2016, 2017

В ТОП-10
«SEO глазами клиентов»