Краулинговый бюджет
Краулерами в поисковой оптимизации называют поисковых роботов. У них есть лимиты на обход каждого сайта в сутки – не более определённого количества страниц.
Именно эти лимиты и называют краулинговым бюджетом сайта.
Чем больше у сайта краулинговый бюджет, тем больше страниц в сутки может обойти и проиндексировать поисковой робот и тем быстрее и лучше индексируется весь сайт.
Как определить краулинговый бюджет?
Для определения краулингового бюджета у специалистов есть ряд методов:
- через системы аналитики
- через логи сервера
Как его увеличить для того, чтоб ваш сайт лучше и быстрее индексировался?
- Проверить и настроить файл Sitemap.xml, (в том числе указать в карте сайта частоту обновления страницы через changefreq и приоитет через атрибут priority)
- Проверить и настроить файл robots.txt
- Прописать заголовки Last-Modified и If Modified Since
- Ускорить загрузку страниц
- Оптимизировать перенаправления
- Проверить сайт на дублирование контента (https:// и http://, с www и без, со слешем и без)
- Настроить перелинковку
- Улучшить юзабилити
- Улучшить поведенческие факторы (особенно время пребывания и % возвратов посетителей)
- Следить за качественными и количественными показателями ссылочной массы
Это базовый список характеристик, которые проверяются при аудите сайта при подготовке его к поисковому продвижению.
