Краулинговый бюджет
Краулерами в поисковой оптимизации называют поисковых роботов. У них есть лимиты на обход каждого сайта в сутки – не более определённого количества страниц.
Именно эти лимиты и называют краулинговым бюджетом сайта.
Чем больше у сайта краулинговый бюджет, тем больше страниц в сутки может обойти и проиндексировать поисковой робот и тем быстрее и лучше Читать далее