Что такое краулинговый бюджет?

Краулинговый спрос – количественный показатель страниц, требуемых для сканирования поисковиком, основан на популярности запроса и актуальности информации.

Краулинговый бюджет – это краулинговый спрос + скорость сканирования, то есть URL для сканирования, которые может охватить робот в единицу времени. Если робот при прохождении сайта не может обойти все страницы, то они не попадут в индексацию. Поэтому задумываться о нем стоит лишь крупным ресурсам.

Так что живите спокойно, Googlebot пока не идет к вам.

Факторы, влияющие на краулинг:

большое количество дублирующих станиц;
страницы с ошибкой 404;
страницы со следами взлома;
спам и низкое качество контента;
URL с «бесконечным пространством».

Сканирование не является фактором ранжирования, но быстрая скорость сканирования – следствие быстрой загрузки сайта, а быстрый сайт влияет на ранжирование.

Краулинговый бюджет расходуется на сканирование встроенных станиц и альтернативных URL.

Контролировать робот с помощью «crawl-delay» - это миф, существующий в среде сеошников. Гуглбот не обращает на нее внимания.

Страницы с «nofollow» сканироваться могут, особенно в том случае, если на сайте существует ссылка на тот же ресурс без данной директивы.