Индексация сайта простыми словами: как страница попадает в поиск

Обход, индексация и показ в поиске это три разных события. Робот сначала приходит на страницу, потом решает добавить её в индекс, потом решает показывать по запросу. Новая страница на живом сайте попадает в индекс за 2-7 дней, обновление сниппета занимает до двух недель.

Владелец набирает в Яндексе точное название своей страницы услуг, опубликованной три недели назад, и не находит её. Дальше обычно два вывода: сайт забанили или подрядчик ничего не делает. Оба чаще всего мимо. Ниже разбираю, что такое индексация сайта, чем она отличается от обхода роботом, на каком этапе страница обычно застревает и как проверить её статус в Вебмастере и Search Console за десять минут, без единого платного сервиса.

Я веду абонентку по сайтам малого бизнеса шесть лет, и вопрос «страница есть, а в поиске её нет» прилетает стабильно раз в месяц. В девяти случаях из десяти причина техническая и чинится за час. В десятом страница действительно никому не нужна, включая поиск, и лечится это текстом, а не галочками в настройках.

Обход, индексация и показ это три разных события

Главная путаница в теме растёт из того, что все три слова в обиходе слиплись в одно «проиндексировать». На деле между сохранением файла на сервере и строчкой в выдаче лежат три независимых шага, и провалиться можно на любом.

Обход (краулинг). Робот пришёл по адресу, получил HTTP-ответ, скачал HTML. Всё. Он ещё ничего не решил про вашу страницу, он только забрал её содержимое. Обход виден в логах сервера и в разделе статистики обхода Вебмастера.

Индексация. Робот разобрал скачанный HTML, вытащил текст, заголовки, ссылки, канонический адрес, и положил документ в базу. Страница стала известна поиску. Это ещё не значит, что её кому-то покажут.

Показ в выдаче (ранжирование). По конкретному запросу поиск выбирает из базы документы и расставляет их по местам. Ваша страница может быть проиндексирована и при этом не показываться нигде выше двухсотой позиции.

Этап	Что происходит	Где посмотреть	Типичный срок
Обход	Робот скачал HTML	Вебмастер, раздел статистики обхода; access.log на хостинге	от часов до 2 недель
Индексация	Документ попал в базу поиска	Вебмастер, «Страницы в поиске»; в GSC проверка URL	от 1 дня до 3 недель после обхода
Показ	Страница участвует в выдаче	Яндекс Метрика, отчёт по поисковым фразам; GSC, отчёт «Эффективность»	от недели до нескольких месяцев

Практический вывод простой. Прежде чем что-то чинить, надо понять, на каком из трёх шагов вы стоите. Если робот к странице ни разу не приходил, бессмысленно переписывать текст. Если пришёл, проиндексировал, а трафика нет, бессмысленно давить на переобход.

Как проверить, в индексе ли конкретная страница

Три способа, от грубого к точному.

Оператор site

Быстрая прикидка прямо в поиске:

site:vashsayt.ru/uslugi/remont-noutbukov/

Если строчка нашлась, страница в индексе. Если ничего нет, это ещё не приговор: оператор site показывает не всю базу, а её видимую часть, и на свежих страницах регулярно врёт. Общее число по site:vashsayt.ru тоже считать точным нельзя, разброс между двумя запусками подряд бывает в полтора раза.

Яндекс Вебмастер

Единственный источник, которому по Яндексу стоит верить. Нужны два раздела.

«Индексирование» — «Страницы в поиске». Здесь список того, что реально участвует в выдаче, плюс история добавлений и исключений по дням. Если страница пропала, вкладка «Исключённые страницы» покажет причину буквально одной строкой: «Недостаточно качественная», «Дубль», «Запрещена в robots.txt», «Ошибка HTTP».

«Индексирование» — «Проверить статус URL». Вбиваете адрес и получаете, был ли обход, когда, что робот увидел, и в поиске ли документ сейчас. Это и есть точный ответ на вопрос, застряли вы на обходе или на индексации. Если Вебмастер у вас не подключён, начните с этого: без него вы гадаете, а не проверяете.

Google Search Console

Инструмент проверки URL даёт то же самое по Google: дата последнего сканирования, тип агента, разрешено ли индексирование, какой канонический адрес выбрал Google (а он выбирает свой, а не ваш, и это отдельный источник сюрпризов). Там же кнопка запроса индексирования.

Проверка со стороны сервера

Прежде чем спорить с поиском, проверьте, что робот вообще получает нормальный ответ:

curl -sIA "Mozilla/5.0 (compatible; YandexBot/3.0)" https://vashsayt.ru/uslugi/remont/ 
  | grep -Ei "^(HTTP|location|x-robots-tag|content-type)"

Что здесь важно. HTTP/2 200 — страница отдаётся. 301 или 302 в паре с location — робот уедет по другому адресу и индексировать будет его. Строка x-robots-tag: noindex — прямой запрет на уровне сервера, о котором в админке CMS вы не увидите ни слова. Отдельно проверьте ответ для обычного браузера: если для пользователя 200, а для робота 403 или 503, значит фаервол хостинга или защита от ботов режет поисковики, и это надо снимать через поддержку хостинга.

Сколько ждать по-честному

Самая частая эмоция вокруг индексации это нетерпение. Цифры ниже собраны по моим клиентам за последние два года: сайты услуг на 20-150 страниц, посещаемость от 30 до 800 человек в сутки.

Ситуация	Яндекс	Google
Новая страница на живом сайте с трафиком	2-7 дней	1-4 дня
Новая страница на сайте без трафика	2-4 недели	1-3 недели
Совсем новый домен, первые страницы	2-6 недель	1-4 недели
Правка существующей страницы	3-14 дней до обновления сниппета	2-10 дней
Сайт после переезда на новый домен	1-3 месяца на полную склейку	3-8 недель

Яндекс обновляет базу апдейтами, и между обходом и появлением в выдаче почти всегда сидит пауза. Поэтому нормальный ответ на вопрос «почему вчерашняя статья не в поиске» звучит как «потому что вчера». Панику стоит включать, когда прошёл месяц, а Вебмастер показывает нулевой обход.

Что мешает индексации: разбор по частоте

Порядок ниже отражает то, что я реально вижу в работе, а не теоретическую важность.

Запрет в robots.txt

Классика. Сайт разрабатывали, закрыли от индексации целиком, запуск состоялся, строчку убрать забыли. Открываете https://vashsayt.ru/robots.txt и смотрите на первые строки:

User-agent: *
Disallow: /

Это полный запрет обхода. Правильный минимум для сайта услуг выглядит иначе:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /*?s=
Disallow: /*?replytocom
Clean-param: utm_source&utm_medium&utm_campaign&yclid&gclid

Sitemap: https://vashsayt.ru/sitemap_index.xml

Важный нюанс, на котором спотыкаются почти все: Disallow запрещает обход, а не индексацию. Страница, закрытая в robots, но получившая внешние ссылки, вполне может попасть в выдачу с пустым сниппетом и текстом вроде «описание недоступно». Подробнее про правила и типовые ошибки я писал в разборе robots.txt для WordPress.

Метатег noindex

Второй по частоте случай, и самый обидный, потому что незаметный. В WordPress достаточно одной галочки «Попросить поисковые системы не индексировать сайт» в настройках чтения, и весь сайт получает noindex в шапке. Ещё вариант: SEO-плагин выставил noindex на архивы, метки или на весь тип записей, и заодно прихватил нужные страницы.

Проверка в одну строку:

curl -s https://vashsayt.ru/uslugi/remont/ | grep -i 'name="robots"'

Если в ответе есть noindex, дальше можно не искать. Кстати, если задача обратная и страницу надо именно спрятать, noindex работает только вместе с разрешённым обходом: робот должен зайти и увидеть запрет. Закрыть страницу в robots и повесить на неё noindex одновременно это способ не добиться ни того, ни другого.

Канонический адрес указывает на другую страницу

Тег rel="canonical" говорит поиску, какой адрес считать основным. Если на странице услуги стоит каноникл на главную (типовой результат кривой настройки шаблона или переноса с конструктора), страница честно обойдётся и честно не проиндексируется: поиск решит, что вы сами назвали её копией главной.

Смотреть так же, через curl и поиск строки canonical в HTML. В Вебмастере такие страницы уходят в исключённые со статусом «Неканоническая».

Дубли

Одна и та же страница по нескольким адресам: с www и без, по http и https, со слешем на конце и без, с параметрами сортировки и UTM-метками. Поиск выбирает один адрес, остальные выкидывает, и выбирает он далеко не всегда тот, что нужен вам.

Здесь помогают три вещи: жёсткие 301-редиректы на один канонический вид адреса, директива Clean-param в robots.txt для Яндекса, корректные каноникл-теги. Как искать дубли на действующем сайте, я расписывал в отдельной статье.

Сервер отвечает медленно или через раз

Робот не бесконечно терпелив. Если сайт стабильно отдаёт первый байт за полторы-две секунды, а под нагрузкой валится в 502 или 504, частота обхода падает: поиск не хочет ронять чужой сервер. На shared-хостинге за 200 рублей с сотней соседей по контейнеру такое встречается регулярно.

Порог, на который я ориентируюсь: TTFB до 600 мс на живых страницах. Дальше начинается зона, где обход заметно проседает.

Контент, ради которого никто не пришёл

Техника чистая, robots открыт, каноникл верный, а Вебмастер пишет «Недостаточно качественная страница». Обычно за этим стоит одно из двух: текста на 400 знаков плюс форма заявки, либо текст, который дословно повторяет ещё пять страниц сайта с заменой одного города. Такие страницы делают массово под низкочастотные запросы, и Яндекс их выкидывает пачками.

Лечится это не техникой. Либо страницу наполняют так, чтобы на ней был ответ на вопрос человека, либо её склеивают с соседней.

Краулинговый бюджет для сайта на 50 страниц: миф

Тему краулингового бюджета любят агентства, потому что она звучит серьёзно и позволяет продать оптимизацию обхода. Скажу прямо: сайту услуг на 50-200 страниц про бюджет обхода думать не надо. Робот обойдёт всё за один заход и вернётся ещё раз.

Бюджет становится реальной проблемой от десятков тысяч адресов, и почти всегда это интернет-магазин с фильтрами: сочетания цвета, размера, бренда и сортировки порождают сотни тысяч комбинаций, робот тонет в них и не доходит до карточек товаров. Вот там закрытие параметров, Clean-param и продуманная пагинация действительно решают.

Если вам продают «оптимизацию краулингового бюджета» для визитки на 15 страниц, вам продают воздух.

Как ускорить попадание в поиск

Четыре инструмента, реально работающие, в порядке от базового к добивающему.

Карта сайта. sitemap.xml должен существовать, отдавать 200, содержать только каноничные адреса с кодом 200 и корректные даты lastmod. Карта с мусором из старых 404 и редиректов хуже, чем её отсутствие: робот тратит обход на несуществующее. Ссылку на карту прописывают в robots.txt и добавляют в Вебмастере вручную. Подробности и типовые грабли есть в материале про sitemap.xml.

Переобход в Вебмастере. Раздел «Индексирование» — «Переобход страниц». Лимит зависит от размера и возраста сайта, у типового сайта услуг это порядка 20-30 адресов в сутки. Отправка не гарантирует индексацию, она гарантирует только визит робота. Дёргать один и тот же URL каждый день смысла нет.

IndexNow. Протокол, который сам пингует Яндекс при публикации или правке страницы. Настраивается один раз: ключ, файл с ключом в корне сайта, отправка на https://yandex.com/indexnow из CMS. У меня на боевых проектах разрыв между публикацией и первым визитом робота после подключения IndexNow сжался с нескольких дней до часов. Разбор внедрения я выкладывал здесь.

Внутренние ссылки. Самый недооценённый пункт. Страница, на которую с сайта не ведёт ни одной ссылки (лежит только в карте сайта), обходится реже и хуже. Достаточно поставить ссылку с главной, из меню или из соседней статьи, и обход ускоряется без всяких протоколов.

Чек-лист: страница не в поиске, что проверять по порядку

• Ответ сервера для робота: 200, не 301, не 403, не 503.
• robots.txt: нет Disallow на нужный раздел.
• Метатег robots в HTML: нет noindex.
• Заголовок X-Robots-Tag в ответе сервера: пусто.
• rel="canonical": указывает сам на себя, а не на главную.
• Адрес есть в sitemap.xml, и карта отдаёт 200.
• На страницу ведёт минимум одна внутренняя ссылка.
• В Вебмастере, «Проверить статус URL»: был ли обход и что написано в статусе.
• Прошло больше двух недель с публикации.
• На странице есть содержимое объёмом больше формы заявки и трёх абзацев.

Первые шесть пунктов закрываются за пятнадцать минут и снимают большую часть случаев. Если все они зелёные, а страницы в поиске нет месяц, вопрос уже не технический, а к содержанию.

Что делать дальше

Порядок, который я предлагаю клиентам, когда приходят с «нас нет в поиске». Сначала проверка ответа сервера и запретов, это час работы и обычно на нём всё и заканчивается. Потом подключение Вебмастера и Search Console, если их не было, плюс карта сайта и IndexNow. Дальше месяц наблюдения по отчёту «Страницы в поиске»: сколько добавлено, сколько исключено и с какими статусами. И только после этого разговор про тексты и структуру.

Индексация не покупается и не ускоряется деньгами. Она ускоряется тем, что сайт технически исправен, регулярно обновляется и не мешает роботу работать.

Если разбираться самому некогда, я делаю аудит индексации точечно, отдельной задачей: проверка запретов, дублей, карты сайта, настройка Вебмастера и IndexNow, отчёт с конкретным списком правок. Условия по абонентке и разовым работам есть в тарифах, а описать ситуацию и получить оценку по срокам можно через форму. Если страницы выпали резко и вчера всё было нормально, пишите сразу, такие случаи разбираются быстрее по свежим логам.

Частые вопросы

Что такое индексация сайта простыми словами

Это когда поисковик сохранил страницу у себя и готов показывать её по запросам. Зайти на страницу мало. Робот может обойти страницу и не проиндексировать её, и это нормальный сценарий, а не поломка.

Как проверить, есть ли страница в поиске

В Яндекс Вебмастере посмотреть раздел со страницами в поиске, в Search Console прогнать адрес через проверку URL. Поиск по точному адресу в выдаче тоже показывает, но менее надёжно.

Сколько ждать индексации новой страницы

На живом сайте с трафиком 2-7 дней. На новом сайте дольше. Правка существующей страницы отражается в сниппете за 3-14 дней.

Что мешает индексации чаще всего

Запрет в robots.txt или в мета-теге, канонический адрес, указывающий на другую страницу, отсутствие ссылок на страницу внутри сайта и медленный ответ сервера. Проверять надо именно в этом порядке.