Переобход страниц в Яндекс Вебмастере: как ускорить попадание в поиск

Переобход это не кнопка проиндексировать, а просьба зайти на страницу раньше расписания. Квота ограничена несколькими десятками адресов в сутки. Робот придёт, но решение включать страницу в индекс примет сам, и отправка того же адреса по кругу этого не изменит.

Опубликовали новую страницу, а в Яндексе её нет ни через неделю, ни через три. В Яндекс Вебмастере для этого есть инструмент «Переобход страниц»: вставил адрес, нажал кнопку, робот пришёл. Работает он не совсем так, как ожидает владелец сайта, и переобход тут не волшебная кнопка «проиндексировать». Разберу, где он лежит, какая у него суточная квота, чем он отличается от sitemap и IndexNow, как отправлять адреса пачками через API и почему отправленная страница всё равно может не появиться в выдаче.

Круговая стрелка переобхода вокруг страницы сайта и значок поиска

Я веду абонентку на пару десятков сайтов малого бизнеса, и вопрос «мы же отправили на переобход, почему не в поиске» слышу примерно раз в месяц. Ответ почти всегда один и тот же, и он не про кнопку.

Где лежит переобход и что он делает на самом деле

Путь такой: Яндекс Вебмастер, левое меню, раздел «Индексирование», пункт «Переобход страниц». Открывается форма с полем для адресов и счётчиком остатка квоты прямо над ней. Адреса вставляются по одному на строку, обязательно полные, с протоколом и доменом.

Дальше начинается место, где ломается ожидание владельца. Переобход это заявка на обход, а не на индексацию. Вы говорите роботу: приди сюда раньше, чем ты собирался. Робот приходит, скачивает HTML, отдаёт его дальше по конвейеру. А уже там алгоритм решает, класть страницу в индекс или нет, и решение это принимается по своим критериям, на которые кнопка не влияет никак.

Из этого следуют два практических вывода.

Переобход реально помогает, когда контент на странице уже изменился, а Яндекс показывает старую версию: обновили цены, поменяли телефон, переписали заголовок и описание, закрыли страницу от индексации или наоборот открыли. Робот приходит, видит новое, обновляет свою копию.

Переобход бесполезен, когда страница не проходит фильтр качества или закрыта техническими настройками. Можно отправлять её каждый день до посинения. Робот будет исправно приходить, а в поиске не появится ничего.

Что показывает очередь после отправки

Отправленные адреса попадают в таблицу под формой со статусом. Статусов немного:

«В очереди» — заявка принята, робот пока не пришёл;
«Выполнено» — робот загрузил страницу. Это про загрузку, не про индекс;
«Отказано» — адрес не принадлежит подтверждённому хосту, кончилась квота или в адресе опечатка.

По моим наблюдениям на живых сайтах робот приходит в течение нескольких часов, иногда на следующие сутки. Если через двое суток статус так и висит «В очереди», дело обычно не в Яндексе, а в сайте: медленный ответ сервера или робот получает не 200.

Квота: сколько адресов в сутки можно отправить

Точную цифру Яндекс нигде не публикует и меняет её сам. У типового сайта малого бизнеса на 30-80 страниц я вижу квоту в районе 10-30 адресов в сутки. Смотреть надо не в статьи, а в счётчик над формой: там написано, сколько адресов осталось сегодня именно у вашего хоста.

Что важно понимать про квоту:

она считается на хост, а не на аккаунт. В Вебмастере https://site.ru, https://www.site.ru и http://site.ru это три разных хоста с отдельными квотами. Отправлять надо в тот, который выбран главным зеркалом, иначе отправка уйдёт в пустоту;
обновляется она в полночь по московскому времени, неизрасходованный остаток на завтра не переносится;
квота растёт медленно, вместе с возрастом сайта, числом страниц в поиске и регулярностью обновлений. Резких скачков после покупки чего-либо не бывает, продавцов «увеличения квоты» стоит обходить стороной;
API Вебмастера использует ту же самую квоту. Это не отдельный лимит, а тот же счётчик.

Из-за квоты имеет смысл заранее решить, что вы вообще отправляете. У меня приоритет такой.

Что за страница	Отправлять на переобход	Почему
Новая статья или страница услуги	Да, сразу после публикации	Ускоряет первый визит робота на несколько дней
Правка цен, телефона, реквизитов	Да	В выдаче висит старый сниппет, это прямые потери
Страница после снятия noindex	Да	Иначе робот вернётся сам через недели
Страница после смены URL	Нет, отправлять новый адрес	Старый отдаёт 301, обходить его смысла мало
Мелкая правка текста в абзаце	Нет	Робот и так придёт, квота дороже
Товары, теги, пагинация пачкой	Нет	Это работа sitemap, квоты не хватит физически
Страница, которую Яндекс исключил как малополезную	Нет	Сначала чинить страницу, потом отправлять

Последняя строка самая важная. Отправлять на переобход страницу, которую поиск уже посмотрел и отверг, это способ потратить квоту и остаться при своих.

Переобход, sitemap и IndexNow: что и когда работает

Три инструмента решают одну задачу разными способами, и путать их не стоит.

Инструмент	Лимит	Что делает	Когда применять
Переобход в Вебмастере	10-30 адресов в сутки	Точечная заявка на обход конкретного адреса	Срочная правка, новая важная страница
Sitemap.xml	до 50 000 URL в файле	Отдаёт роботу полную карту сайта и даты правок	Всегда, это базовая настройка
IndexNow	тысячи URL в сутки	Пинг поисковику сразу после публикации	Автоматизация на каждой публикации

Sitemap это фундамент. Без него робот ищет страницы по ссылкам и находит их, когда найдёт. С ним у Яндекса есть список всех адресов и поле lastmod с датой последнего изменения. Если у вас sitemap не настроен или генерируется криво, переобход будет затыкать дыру, которую надо закрыть один раз и навсегда. Про генерацию и типовые ошибки я писал отдельно: карта сайта sitemap.xml.

IndexNow это протокол, который поддерживает Яндекс. Сайт сам отправляет уведомление на https://yandex.com/indexnow в момент публикации, без ручного захода в Вебмастер и без расхода квоты переобхода. Ключ подтверждается текстовым файлом в корне сайта. Успешным ответом считается HTTP 200 или 202, и вот это 202 многие принимают за ошибку. Подробный разбор с настройкой: IndexNow для Яндекса.

Правильная схема для сайта услуг выглядит так: sitemap настроен и отдаётся корректно, IndexNow висит на событии публикации и правки, переобход остаётся ручным инструментом для срочных случаев. Тогда квоту вы тратите два-три раза в месяц и всегда по делу.

Массовая отправка через API Вебмастера

Если статей выходит регулярно, руками в форму лазить надоедает. У Вебмастера есть REST API, и переобход в нём доступен полностью.

Порядок такой. Заводите приложение на oauth.yandex.ru, ставите ему право на управление сайтами в Вебмастере, получаете OAuth-токен. Дальше два справочных запроса: узнать свой user_id и найти host_id нужного сайта. Формат host_id непривычный, выглядит как https:site.ru:443.

TOKEN="ваш_oauth_токен"
API="https://api.webmaster.yandex.net/v4"

# 1. Свой идентификатор пользователя
curl -s -H "Authorization: OAuth $TOKEN" "$API/user/"

# 2. Список хостов, ищем нужный host_id
USER_ID=123456789
curl -s -H "Authorization: OAuth $TOKEN" "$API/user/$USER_ID/hosts/"

# 3. Остаток суточной квоты
HOST_ID="https:site.ru:443"
curl -s -H "Authorization: OAuth $TOKEN" 
  "$API/user/$USER_ID/hosts/$HOST_ID/recrawl/quota/"

# 4. Отправка одного адреса в очередь переобхода
curl -s -X POST 
  -H "Authorization: OAuth $TOKEN" 
  -H "Content-Type: application/json" 
  -d '{"url":"https://site.ru/blog/novaya-statya/"}' 
  "$API/user/$USER_ID/hosts/$HOST_ID/recrawl/queue/"

Ответ на четвёртый запрос содержит task_id, по которому потом можно спросить статус той же ручкой методом GET. Адрес в запросе строго один, пачку придётся слать циклом с паузой в секунду, иначе получите отлуп по частоте.

Ограничение, о котором стоит помнить: квота у API та же самая, что в интерфейсе. API даёт автоматизацию, а не больше лимита. У себя я вешаю такой вызов на публикацию записи вместе с пингом IndexNow, чтобы обе отправки уходили одним хуком и не требовали ручной работы.

Токен OAuth живёт долго, но не вечно, и при протухании скрипт начнёт молча получать 401. Логировать ответ обязательно, иначе через полгода обнаружите, что отправки не работают с весны.

Почему отправленная страница может так и не попасть в поиск

Это главный вопрос, ради которого пишется статья. Робот пришёл, статус «Выполнено», а в выдаче пусто. Перечислю причины по частоте, как встречаю их в работе.

Страница закрыта технически. Метатег noindex в шапке, директива Disallow в robots.txt, заголовок X-Robots-Tag от сервера. Часто это наследство: разработчик закрыл сайт на время сборки и забыл открыть. Проверяется за минуту.

# Что отдаёт сервер в заголовках
curl -sI https://site.ru/blog/novaya-statya/ | head -20

# Есть ли noindex и canonical в HTML
curl -s https://site.ru/blog/novaya-statya/ | grep -Ei 'noindex|canonical'

# Не запрещён ли путь в robots
curl -s https://site.ru/robots.txt

Канонический адрес указывает на другую страницу. Плагин или шаблон проставил rel="canonical" на главную либо на страницу-родителя. Робот видит: эта страница объявила себя копией другой, значит индексируем ту. Формально всё в порядке, фактически страницы в поиске нет.

Дубль. Тот же текст уже есть на сайте по другому адресу: версия с параметрами, страница пагинации, товар в двух категориях. Яндекс выбирает одну и показывает её, остальные помечает как дубли. Отправка на переобход тут ничего не меняет, надо убирать дубли.

Статус «Недостаточно качественная страница». Формулировка Яндекса, за которой скрывается оценка полезности. У сайтов услуг это обычно короткие страницы на 500-800 знаков, собранные по шаблону «услуга плюс город», либо текст, переписанный с сайта конкурента. Лечится содержанием, а не кнопкой.

Сервер отвечает медленно или с ошибкой. Если робот получил 5xx или ждал ответа больше нескольких секунд, он уйдёт и вернётся позже. При стабильно медленном ответе Яндекс снижает частоту обхода всего сайта. В Вебмастере это видно в разделе «Скорость обхода» и в отчёте по кодам ответа.

Страница-сирота. На неё нет ни одной внутренней ссылки, она есть только в sitemap. Такие страницы индексируются хуже и вылетают первыми: поиску нечем оценить их место в структуре сайта. Ставьте ссылки из смежных материалов и разделов, это дешевле любых отправок. Разбор схемы: внутренняя перелинковка.

Сайт новый. Домену месяц, страниц двадцать, ссылок нет. Тут работает не техника, а время. Три-восемь недель до нормальной индексации на новом домене это норма, а не поломка.

Порядок действий после публикации и после правки

Два разных сценария, привычки под них тоже разные.

После публикации новой страницы

Проверить, что страница отдаёт 200 и открыта для индексации (команды выше).
Убедиться, что она появилась в sitemap.xml. У кэширующих плагинов карта обновляется не мгновенно, иногда её надо перегенерировать руками.
Поставить на неё две-три внутренние ссылки из уже проиндексированных материалов.
Отправить адрес на переобход или дать уйти пингу IndexNow, если он настроен. Оба сразу отправлять не вредно, но и смысла немного.
Записать дату отправки. Дальше просто ждать.

После правки существующей страницы

Сбросить кэш сайта и CDN, если он есть. Робот должен увидеть новую версию, а не отданную из кэша старую. На этом спотыкаются регулярно: правку внесли, кэш живёт сутки, робот приходит и забирает то же самое.
Проверить, что дата в lastmod в sitemap обновилась.
Отправить на переобход, если правка значимая: цены, контакты, заголовок, описание, состав услуги.
Через несколько дней посмотреть сниппет в выдаче по запросу с оператором site:.

Отдельный случай: страница удалена или переехала. Тогда отправлять на переобход надо не старый адрес, а новый. Старый пусть отдаёт 301, робот подхватит редирект сам, обычно за одну-две недели.

Как отслеживать результат и не дёргать переобход по кругу

Смотреть надо не на очередь переобхода, а на раздел «Индексирование», подраздел «Страницы в поиске». Там есть фильтр по добавленным и исключённым адресам и, что важнее, история изменений: сколько страниц было в поиске неделю и месяц назад. Одна строка в этом графике говорит больше, чем десять отправок.

Реалистичные сроки, на которые я ориентируюсь в работе:

живой сайт, регулярные публикации: новая страница в поиске за 2-10 дней;
сайт без обновлений полгода: 2-4 недели, робот к таким заходит редко;
новый домен: до полутора месяцев на первые страницы;
страница после снятия запрета: 1-3 недели.

Чего делать не надо: отправлять один и тот же адрес каждый день. Приоритета это не даёт, квоту съедает, а вместо диагностики вы получаете ритуал. Если страница не появилась за две недели после подтверждённого обхода, причина в самой странице, и её надо искать по списку выше.

Полезно вести короткий журнал отправок: дата, адрес, повод, дата появления в поиске. Достаточно таблицы на пять колонок. Через пару месяцев по ней видно реальные сроки индексации вашего сайта, и споры «долго или нормально» заканчиваются сами. Если Вебмастер вы пока освоили только наполовину, начните с базовой настройки: Яндекс Вебмастер для новичков.

Что настроить один раз, чтобы не жать кнопку

Кнопка переобхода это костыль для срочных случаев, и в нормально настроенном сайте она нужна редко. Мой набор для клиентского сайта на обслуживании выглядит так:

sitemap.xml генерируется автоматически и содержит честный lastmod;
robots.txt не запрещает лишнего, проверен через анализатор в Вебмастере;
IndexNow отправляет пинг на публикации и правке, ответ пишется в лог;
каждая новая страница получает внутренние ссылки в тот же день;
раз в месяц смотрю отчёт «Страницы в поиске» и разбираю исключённые адреса по статусам;
переобход руками остаётся на случаи, когда правка срочная: сменились цены, телефон или реквизиты.

Настройка всего этого занимает часа два-три на типовом сайте на WordPress или Битриксе и дальше не требует внимания. Дальше вы просто публикуете, а очередь на обход формируется без вас.

Если сайт стоит на обслуживании, индексация обычно входит в абонентку: у меня она в годовом тарифе за 35 000 рублей и в помесячном от 15 000, разбивка по работам есть в тарифах. Если страницы не индексируются прямо сейчас и это стоит вам заявок, опишите ситуацию через форму на главной: по адресу сайта и паре скриншотов из Вебмастера причина обычно видна за полчаса, без предварительного аудита за деньги.

Частые вопросы

Что делает переобход страниц

Ставит адрес в очередь на внеплановое посещение роботом. Это ускоряет обход, но не гарантирует попадание в поиск: решение об индексации принимается отдельно.

Сколько адресов можно отправить

Квота ограничена и зависит от размера и авторитета сайта, обычно это десятки адресов в сутки. Расходовать её на всё подряд бессмысленно.

Что лучше: переобход, карта сайта или мгновенное оповещение

Они дополняют друг друга. Карта сайта это базовый список, протокол мгновенного оповещения работает автоматически при публикации, переобход остаётся для точечных случаев.

Почему отправленная страница так и не появилась

Потому что робот пришёл, но счёл страницу дублем или недостаточно полезной. Статус исключения виден в отчёте, и лечится он содержанием, а не повторной отправкой.

Переобход страниц в Яндекс Вебмастере: как ускорить попадание в поиск