Что такое краулинговый бюджет?

Краулинговый бюджет — это количество страниц, которое поисковый робот готов обойти на конкретном сайте за определённый период: чем он больше, тем быстрее новые и изменённые страницы попадают в индекс. Для сайта из 40 страниц беспокоиться не о чем: ограничения бюджета заметны у сайтов от десятков тысяч страниц, а не от нескольких десятков.

Сам термин пришёл из официальной документации Google Search Central, где прямо сказано: тема краулингового бюджета в первую очередь касается крупных сайтов — интернет-магазинов с тысячами карточек товаров, новостных порталов с ежедневными публикациями, площадок с автогенерируемыми страницами фильтров. У них робот физически не успевает обойти всё за разумный срок, и приходится думать, куда направить его внимание в первую очередь.

Небольшой сайт робот обходит целиком и регулярно, без всякой конкуренции страниц за лимит. Проблемы с индексацией на таком объёме почти всегда лежат в другом месте: пустой или неправильно настроенный robots.txt, отсутствие или ошибки в sitemap.xml, страницы без ссылок с других разделов сайта (робот их просто не находит), медленные ответы сервера или ошибки 5xx при обращении.

Проверить реальное состояние проще, чем разбираться в бюджете: откройте Яндекс.Вебмастер и Google Search Console, посмотрите раздел с исключёнными страницами и причинами исключения. Если там пусто или причины бытовые вроде «страница временно недоступна» — сайт в порядке, а термин из статьи можно смело откладывать до тех времён, когда страниц станет заметно больше сорока.