Страница выпала из индекса: как понять причину и вернуть её

Сначала убеждаются, что страница выпала, а не просела по позициям. Дальше смотрят статус исключения в Вебмастере: случайный запрет возвращается за 3-10 дней, ошибка сервера за 5-14, а статус про недостаточное качество лечится содержанием, а не техникой.

Полгода страница услуги стабильно приводила заявки, а потом резко замолчала. Владелец лезет в поиск, вбивает точный заголовок и не находит ничего: страница выпала из индекса, хотя на сайте она открывается как обычно. Дальше начинается самое дорогое: месяц гаданий и правок наугад. Разберём, как за двадцать минут отличить выпадение от обычной просадки позиций, что реально означают статусы исключения в Вебмастере, и в каком порядке возвращать страницу обратно.

Я обслуживаю сайты малого бизнеса шесть лет, и выпавшие страницы разбираю в среднем раз в месяц. Причины повторяются, их немного, и почти всегда это следствие какого-то действия на сайте: переезда, чистки, обновления плагина, правки шаблона. Само по себе из индекса ничего не пропадает.

Сначала проверьте, что страница действительно выпала

Половина обращений про выпадение оказывается просадкой позиций. Это принципиально разные истории: в первом случае страницы нет в базе поиска вообще, во втором она есть, но лежит на четвёртой странице выдачи. Лечатся по-разному.

Проверка занимает пару минут:

1. Оператор url: в Яндексе: наберите url:https://example.ru/uslugi/remont/ в строке поиска. Есть результат, значит страница в индексе. Пусто, значит её там нет.
2. Оператор site: в Google по тому же адресу: site:example.ru/uslugi/remont/.
3. Инструмент «Проверить статус URL» в Яндекс Вебмастере, раздел Индексирование. Показывает точный статус и дату последнего обхода.
4. Инструмент проверки URL в Search Console: там видно, в индексе ли страница и когда робот приходил.

Дальше сверьте с реальностью. Если страница в индексе, но заявок нет, вы имеете дело с потерей позиций, а не с выпадением, и статья вам не про то. Если во всех четырёх местах пусто, поехали дальше.

Ещё один частый самообман: владелец ищет по фразе из заголовка и не видит сайт на первом экране. Поиск мог просто переранжировать выдачу. Оператор url: про позиции ничего не знает, он отвечает только на вопрос «есть в базе или нет». Именно этот ответ вам и нужен.

Что означают статусы исключения в Вебмастере

Яндекс Вебмастер, раздел Индексирование, страницы в поиске, вкладка «Исключённые». Там список с причинами. Формулировки короткие, а смысл за ними у каждой свой.

Статус	Что реально произошло	Кто виноват
Недостаточно качественная	Робот решил, что страница не даёт пользы относительно уже проиндексированных	Контент, реже структура сайта
Дубль	Есть другая страница с тем же содержимым, в индексе оставлена она	Технические копии, параметры, пагинация
Неканоническая	На странице стоит canonical на другой адрес	Плагин SEO или шаблон
Запрещена в robots.txt	Обход закрыт директивой Disallow	Правка robots, чаще после переезда
Ошибка HTTP	Страница отдаёт 404, 500, 403 или таймаут	Сервер, CMS, права на файлы
Редирект	Адрес перенаправляет на другой	Правило в htaccess или плагин
Метатег noindex	В коде страницы стоит запрет индексации	Настройка CMS или SEO-плагина

В Search Console формулировки другие, но смысл тот же: «Страница просканирована, но пока не проиндексирована», «Обнаружена, но не просканирована», «Страница является копией, канонический вариант не выбран пользователем», «Заблокировано в файле robots.txt».

Порядок разбора у меня всегда одинаковый: сначала техника, потом качество. Технические причины проверяются за десять минут и чинятся за час. Качество проверяется дольше и чинится неделями. Глупо переписывать текст, если страница отдаёт 404 роботу и 200 вам в браузере.

Если Вебмастер для вас пока тёмный лес, начните с настройки и разбора панели, без неё вы будете гадать на кофейной гуще.

Технические причины: проверяются первыми

Что видит робот, а не вы

Самая частая ловушка: в браузере страница открывается, а роботу отдаётся что-то другое. Кэш, гео-фильтр, правило для user-agent, плагин безопасности, который банит всё, что похоже на бота. Проверяется в консоли одной командой.

# Смотрим код ответа и заголовки глазами робота
curl -sI -A "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" 
  https://example.ru/uslugi/remont/

# Ищем запреты прямо в коде страницы
curl -s -A "Mozilla/5.0 (compatible; YandexBot/3.0)" https://example.ru/uslugi/remont/ 
  | grep -i -E 'name="robots"|rel="canonical"|http-equiv'

# Проверяем заголовок X-Robots-Tag, его в исходном коде не видно
curl -sI https://example.ru/uslugi/remont/ | grep -i x-robots

Что вы хотите увидеть: HTTP/2 200, отсутствие X-Robots-Tag: noindex, canonical, указывающий на этот же адрес. Всё остальное требует разбирательства.

Отдельно про X-Robots-Tag. Этот заголовок ставится на уровне сервера или плагина, в исходном коде страницы его нет, поэтому его пропускают месяцами. Видел случай, когда правило добавили в htaccess для тестовой копии, а потом скопировали конфиг на боевой сайт целиком. Из индекса ушёл весь раздел услуг, владелец три недели переписывал тексты, пока не позвал меня.

Галочка «не индексировать» в WordPress

Настройки, Чтение, пункт про видимость для поисковых систем. Один клик закрывает весь сайт. Ставят её обычно на этапе доработок и забывают снять. Проверяется мгновенно:

wp option get blog_public          # 1 это нормально, 0 это запрет
wp post list --post_type=page --post_status=any --fields=ID,post_name,post_status
wp post meta get 512 _yoast_wpseo_meta-robots-noindex   # для Yoast
wp post meta get 512 rank_math_robots                   # для Rank Math

Отдельная разновидность: noindex стоит не на всём сайте, а на конкретной записи. В Rank Math и Yoast это переключатель в блоке настроек под редактором, задеть его мышью проще простого. Если выпала ровно одна страница из ста, а остальные на месте, начинайте отсюда.

robots.txt и случайный Disallow

После переезда или чистки в robots регулярно приезжает лишняя строка. Смертельная классика выглядит так:

User-agent: *
Disallow: /uslugi
Disallow: /*?
Allow: /
Sitemap: https://example.ru/sitemap_index.xml

Строка Disallow: /uslugi без слэша на конце закрывает и /uslugi/, и /uslugi-remonta/, и вообще всё, что начинается с этих букв. А Disallow: /*? заодно выключает страницы с любыми параметрами, включая пагинацию и фильтры каталога.

Важный нюанс, который путает всех: robots запрещает обход, а не индексацию. Уже проиндексированная страница после появления Disallow не исчезает мгновенно, она может месяцами висеть в выдаче огрызком без описания, а потом уйти. И наоборот, чтобы убрать страницу из индекса, robots не годится: робот не сможет зайти и увидеть ваш noindex.

404 после переезда и правок URL

Смена структуры адресов, переезд с одной CMS на другую, ручная правка слага в админке. Старый адрес отдаёт 404, новый робот ещё не нашёл, страница пропадает из индекса на несколько недель. Лечится 301 редиректом со старого адреса на новый, поштучно, а не всё скопом на главную. Массовый редирект на главную поиск считает мягкой ошибкой и обрабатывает как 404.

Найти такие адреса помогает отчёт Вебмастера по ошибкам обхода плюс обычный краулер по сайту: он покажет, откуда на битый адрес ещё ведут внутренние ссылки.

Медленный ответ сервера

Если страница отдаётся дольше трёх секунд, робот сокращает обход и переносит визиты. При регулярных таймаутах страницы начинают выпадать: сначала самые глубокие, потом остальные. В Вебмастере это видно в разделе с временем ответа сервера. Ориентир для сайта услуг: время до первого байта в пределах 500-700 мс на shared-хостинге считается нормой, свыше 1,5 секунды это уже причина разбираться с хостингом или кэшем.

Дубль и канонические ссылки: страница жива, но в индексе другая

Статус «Дубль» не означает, что вы украли текст. Он означает, что поиск нашёл два адреса с одинаковым содержимым и выбрал один. Типичные генераторы дублей на сайте малого бизнеса:

• версии с www и без, с http и https, со слэшем на конце и без,
• адреса с UTM-метками и параметрами сортировки,
• пагинация, где на второй странице тот же текст описания категории,
• страницы тегов и архивов, повторяющие анонсы записей,
• тестовая копия на поддомене, открытая для индексации,
• версия для печати и мобильная копия на отдельном адресе.

Проверить, какой адрес поиск считает основным, можно в Вебмастере через проверку URL: в карточке будет указан канонический адрес. Если там чужой URL, ваша страница не выпала, она склеена с другой.

Второй источник этой беды: canonical, проставленный шаблоном или плагином неправильно. Видел сайт, где разработчик прописал canonical на главную во всём шаблоне сразу, чтобы «убрать дубли». Через два месяца в индексе осталась одна страница из шестидесяти. Механику канониклов и типовые ошибки я разбирал в материале про rel=canonical, а способы найти дубли на сайте есть в статье про поиск дублей.

Недостаточно качественная: самый неприятный статус

Этот статус означает, что технически со страницей всё в порядке, робот её видел и решил не держать в базе. Формулировка обидная, но за ней стоят понятные вещи.

Что чаще всего под этим прячется у сайта услуг:

• текста двести слов, из которых половина повторяет заголовок и телефон,
• страница дублирует по смыслу другую вашу же страницу (например, «ремонт крыши» и «ремонт кровли» с одинаковым содержимым),
• на страницу не ведёт ни одной внутренней ссылки, она есть только в sitemap,
• нулевой трафик и нулевые поведенческие метрики за долгий период,
• страница собрана автоматически: карточка без описания, фильтр каталога, пустая рубрика,
• вокруг на сайте сотни таких же тонких страниц, и вся эта масса тянет качество вниз.

Отдельно про массовость. Если выпала одна страница, разбирайте её. Если выпало сорок процентов сайта разом, дело почти наверняка не в текстах, а в общем состоянии: генерация мусорных адресов, шаблонное содержимое, техническая авария. Правка одного текста в такой ситуации ничего не даст.

Что реально помогает вернуть страницу с этим статусом:

1. Дописать по существу. Не «увеличить объём», а добавить то, чего нет у соседей в выдаче: цены, сроки, состав работ, ограничения, примеры, ответы на вопросы, которые задают клиенты по телефону.
2. Убрать смысловой каннибализм. Две страницы под один запрос надо либо развести по смыслу, либо склеить в одну и поставить 301.
3. Дать внутренние ссылки. Три-четыре осмысленные ссылки с других страниц сайта, а не из подвала. Страница без входящих ссылок для робота выглядит второстепенной.
4. Обновить дату и содержимое. Даты, цены и примеры трёхлетней давности на странице услуги считываются как заброшенность.
5. Проверить, не размывает ли сайт мусор. Пустые рубрики, страницы тегов с одной записью, служебные адреса стоит закрыть через noindex.

Срок возврата после переработки: от двух недель до двух месяцев. Быстрее не бывает, потому что роботу надо не просто обойти страницу, а переоценить её.

Порядок действий: чек-лист возврата

Так я разбираю выпавшую страницу у клиента. Порядок именно такой, от дешёвого к дорогому.

• Подтвердить факт: url: в Яндексе, site: в Google, проверка URL в обеих панелях.
• Посмотреть статус исключения и дату последнего обхода.
• Снять заголовки командой curl под user-agent робота, проверить код ответа, canonical, X-Robots-Tag.
• Проверить robots.txt на лишние Disallow, особенно после недавних работ по сайту.
• Проверить noindex: настройки CMS, SEO-плагин на самой записи, шаблон.
• Проверить редиректы: не уводит ли адрес куда-то ещё, нет ли цепочки из трёх переходов.
• Убедиться, что страница есть в sitemap.xml и он отдаёт свежую дату изменения.
• Проверить внутренние ссылки на страницу: сколько их и откуда.
• Если техника чистая, разбирать содержимое: объём, уникальность смысла, пересечение с соседними страницами.
• После правок отправить на переобход в Вебмастере и в Search Console.
• Записать дату отправки и ждать. Не дёргать переобход каждый день, квота не резиновая.

Ускорить обход помогает IndexNow: страница уходит в очередь на переобход в течение минут, а не дней. Гарантии индексации это не даёт, но сокращает первый шаг ожидания.

Сколько ждать возврата

Реальные сроки, которые я вижу на сайтах малого бизнеса с невысоким трафиком:

Причина	Срок возврата после исправления
Случайный noindex или robots	3-10 дней
Ошибка 404 или 500	5-14 дней
Неправильный canonical	2-4 недели
Дубль, склеенный поиском	2-6 недель
Недостаточно качественная	3-8 недель, иногда не возвращается

Разброс большой, и он зависит от того, как часто робот вообще ходит на сайт. Сайт на десять страниц с двумя визитами робота в неделю будет возвращать страницу дольше, чем блог, который обновляется каждый день.

Если прошло два месяца после исправления технической причины и страница не вернулась, значит причина была не одна. Возвращайтесь к чек-листу и проверяйте заново.

Как ловить выпадения заранее, а не по падению заявок

Владелец обычно узнаёт о проблеме через месяц, когда замечает тишину в почте. К этому моменту потеряно не только время, но и часть накопленного роботом доверия к странице.

Что настраивается за час и работает дальше само:

1. Уведомления Вебмастера. В настройках включаются оповещения о проблемах сайта на почту. Как минимум это подскажет про недоступность и про фатальные ошибки.
2. Отслеживание числа страниц в поиске. График в Вебмастере, раздел «Страницы в поиске». Резкое падение на графике видно сразу.
3. Ежемесячная сверка sitemap и индекса. Берёте список адресов из sitemap, прогоняете через проверку статуса, сравниваете с прошлым месяцем.
4. Мониторинг кода ответа ключевых страниц. Простейший вариант в кроне:

#!/bin/bash
# check-index-pages.sh: проверяем, что важные адреса живы
URLS="/ /uslugi/ /uslugi/remont/ /kontakty/ /blog/"
for u in $URLS; do
  code=$(curl -s -o /dev/null -w "%{http_code}" -A "IndexWatch/1.0" "https://example.ru$u")
  if [ "$code" != "200" ]; then
    echo "ALARM $u отдаёт $code"
  fi
done

Скрипт кладётся в крон раз в час, вывод уходит на почту или в Telegram. Это не заменяет Вебмастер, но ловит самое опасное: страница легла или начала редиректить, а вы об этом не знаете.

1. Журнал изменений. Каждая правка robots, редиректов, структуры адресов и настроек SEO-плагина записывается с датой. Когда через месяц что-то выпадет, вы за пять минут найдёте виновника, а не будете вспоминать, что делали в июле.

У клиентов на абонентском обслуживании проверка индексации входит в ежемесячный регламент: сверяем число страниц в поиске, разбираем новые исключения, отправляем на переобход то, что нужно. Занимает это порядка сорока минут в месяц, а ловит проблему в тот момент, когда её ещё дёшево чинить. Что входит в такое обслуживание и сколько это стоит, смотрите в тарифах.

С чего начать прямо сейчас

Откройте Вебмастер, зайдите в исключённые страницы и посмотрите, что там за последний месяц. Если в списке появились адреса, которые вам нужны для продаж, начинайте с технической части чек-листа: curl, robots, noindex, редиректы. Скорее всего причина найдётся за двадцать минут, и она будет следствием какой-то правки, а не таинственных алгоритмов.

Если разбираться некогда или список исключённых страниц исчисляется сотнями, напишите мне через форму. Обычно я за один вечер отделяю технические причины от смысловых и присылаю список того, что чинится сразу, и того, что придётся переписывать. Работаю удалённо по всей России, живу в Санкт-Петербурге, в Кронштадте.

Частые вопросы

Как понять, что страница выпала из индекса

Проверить её в Вебмастере и в Search Console по конкретному адресу. Отсутствие в выдаче по запросу это не доказательство: страница может быть в индексе, но ранжироваться низко.

Что означает статус про недостаточное качество

Что поисковик счёл страницу малополезной: мало содержания, дубль другой страницы, нет отличия от конкурентов. Технически всё в порядке, лечится переработкой содержания.

Сколько ждать возврата

После снятия случайного запрета 3-10 дней, после починки ошибки сервера 5-14. Возврат после статуса о качестве занимает недели и не гарантирован.

Как ловить выпадения заранее

Смотреть отчёт по страницам в поиске раз в неделю и следить за трафиком по отдельным страницам. Падение заявок это поздний сигнал, к нему приходят через месяц.