Сайт не индексируется в Яндексе: чек-лист причин по убыванию частоты

Причины перебирают по частоте: сначала запреты в robots.txt и в мета-тегах, потом дубли и низкое качество страниц, и только потом всё остальное. Смотреть надо не на догадки, а на три числа в Вебмастере: сколько страниц загружено, сколько в поиске, сколько исключено и почему.

Типовая ситуация: сайт сделали в марте, сейчас август, а в поиске висит одна главная. Владелец пишет: сайт не индексируется в Яндексе, подрядчик молчит, трафика ноль. Причин у этого немного, и они хорошо ранжируются по частоте: сначала банальные запреты, потом дубли и качество, и только в самом конце экзотика вроде санкций. Ниже порядок проверки, который я прогоняю на клиентских сайтах, с конкретными командами и разделами Вебмастера.

Сразу оговорка про ожидания. Индексация не кнопка. Даже когда всё исправлено, Яндекс не выкатывает страницы в выдачу через час, у него апдейты базы идут своим темпом. Но если прошло три месяца и в поиске пусто, ждать бессмысленно: там точно что-то сломано.

Сначала три числа, а не догадки

Половина обращений начинается со слов «сайт не индексируется», а по факту он индексируется прекрасно, просто не ранжируется по нужным запросам. Это разные болезни с разным лечением, и путать их дорого.

Открываем Яндекс Вебмастер, раздел Индексирование, страница «Страницы в поиске». Рядом лежит «Обход» со статистикой обхода. Нужны три числа:

• сколько страниц робот загрузил,
• сколько сейчас в поиске,
• сколько исключено и по каким причинам.

Дальше смотрим на соотношение. Оно почти всегда указывает на класс проблемы.

Что видим	Что это значит	Куда копать
Загружено 0-3 страницы	Робот до сайта не доходит	Права в Вебмастере, robots, ответ сервера, sitemap
Загружено 100, в поиске 1	Робот ходит, но всё отсекается	noindex, канониклы, статусы исключения
Загружено 100, в поиске 40, исключено 60	Мусор в индексе съедает обход	Дубли, параметры, пагинация, пустые страницы
В поиске почти всё, но трафика нет	Индексация ни при чём	Позиции, семантика, конкуренция

Если прав в Вебмастере нет вообще, начинать надо с них. Без подтверждённого сайта вы гадаете по кофейной гуще, а с ним получаете статистику обхода, коды ответа и список исключённых страниц с причинами. Как подтверждать и что смотреть в первую очередь, я разбирал в статье про Вебмастер для новичков.

Второй быстрый замер: оператор site. Вбейте в Яндексе site:вашдомен.ru и посмотрите, сколько результатов. Число приблизительное, но разницу между «две страницы» и «двести» оно показывает честно.

Запреты: самая частая причина, и самая обидная

По моей статистике за шесть лет абонентки примерно половина случаев «нас нет в поиске» лечится за двадцать минут. Потому что кто-то когда-то закрыл сайт от индексации и забыл открыть.

Галочка в WordPress

Настройки, Чтение, пункт «Попросить поисковые системы не индексировать сайт». Её ставят на время разработки. Снять забывают примерно всегда. В базе это опция blog_public, и проверяется она одной командой:

# смотрим флаг индексации
wp option get blog_public       # 1 - индексируем, 0 - закрыто

# открываем сайт роботам
wp option update blog_public 1

# что реально отдаёт сервер
curl -sI https://example.ru/uslugi/ | grep -i -E 'HTTP/|x-robots'
curl -s https://example.ru/uslugi/ | grep -i -o '<meta[^>]*robots[^>]*>'
curl -s https://example.ru/robots.txt

Обратите внимание на X-Robots-Tag в заголовках. Это тот же noindex, только на уровне сервера, и в HTML его не видно. Плагины кэширования и оптимизации иногда проставляют его на целые каталоги, а сеошник потом три недели ищет причину в метатегах.

robots.txt, закрывающий лишнее

Классика после переезда с тестового поддомена: файл приехал вместе с сайтом, а внутри Disallow: /. Второй вариант, помягче, но неприятнее: закрыт каталог, в котором лежат картинки, CSS и JS. Робот видит страницу без стилей и скриптов, оценивает её как сломанную, и в поиск она не идёт.

Проверять руками не нужно, в Вебмастере есть инструмент «Анализ robots.txt»: вставляете список своих URL и видите, разрешён каждый или нет. Разбор рабочего файла с примерами есть в статье про robots.txt для WordPress.

Отдельно напомню: robots запрещает обход, а не индексацию. Закрытая в нём страница может попасть в выдачу без описания, просто по внешним ссылкам. Если нужно выкинуть страницу из поиска, инструмент другой: noindex в метатеге или в заголовке, а путь к ней в robots наоборот должен быть открыт, иначе робот не увидит запрет.

Канониклы на главную

Живой случай из прошлого года. Сайт строительной компании, 60 страниц, в поиске три. В шаблоне у всех страниц стоял <link rel="canonical" href="https://site.ru/">. Кто-то вынес тег в общий header и захардкодил адрес. Яндекс честно решил, что все 60 страниц это копии главной, и оставил одну.

Проверка простая: откройте исходный код трёх разных страниц и сравните canonical. Он должен указывать на саму страницу.

Ответ сервера и редиректы

Робот получает не то, что видите вы в браузере. Проверяйте кодом ответа, а не глазами:

curl -sIL -A 'Mozilla/5.0 (compatible; YandexBot/3.0)' https://example.ru/kontakty/ 
  | grep -i -E 'HTTP/|location'

Что здесь ловится: цепочки редиректов в три-четыре шага, 302 вместо 301, отдача 200 на несуществующих страницах (мягкая 404), и самое неприятное — разный ответ обычному браузеру и боту. Последнее бывает у фаерволов и антибот-плагинов, которые записывают YandexBot в парсеры и отдают ему 403. Сайт при этом работает идеально, а робот видит закрытую дверь месяцами.

Тайминг тоже смотрите. Если сервер отвечает по три секунды, робот снижает частоту обхода. На сайте в 50 страниц это не смертельно, а на магазине в 5000 карточек означает, что до половины ассортимента робот дойдёт не скоро.

Статусы исключения в Вебмастере: что они означают

В разделе «Страницы в поиске», вкладка «Исключённые страницы», лежит список с причинами. Формулировки там короткие и не всегда прозрачные. Расшифровка по тем, что встречаются чаще всего.

Статус	Что произошло	Что делать
Запрещена в robots.txt	Робот не пошёл на страницу	Открыть путь, если страница нужна в поиске
Запрещена тегом noindex	Запрет в HTML или в заголовке ответа	Найти источник тега: плагин, шаблон, сервер
Неканоническая	Есть canonical на другой адрес	Проверить, туда ли он ведёт
Дубль	Совпадает по содержимому с другой страницей	Склеить редиректом или уточнить canonical
Недостаточно качественная	Робот решил, что страница не нужна выдаче	Дописать, объединить или закрыть
Ошибка HTTP	404, 403, 500 в момент обхода	Починить или подтвердить удаление
Редирект	Страница переадресует на другую	Норма, если редирект намеренный

Полезная привычка: смотреть не только статус, но и дату последнего обхода. Если она полугодовой давности, статус мог давно протухнуть, и страница просто ждёт следующего визита робота.

«Недостаточно качественная»: как это выглядит на практике

Самый обсуждаемый статус и самый обидный, потому что звучит как оценка. На деле это про полезность страницы для поиска, а не про грамотность текста.

На сайтах услуг под этот статус регулярно попадают:

• страницы на 400-700 знаков, где текста меньше, чем меню и футера,
• шаблонные страницы под города, где отличается только название города в трёх местах,
• пустые архивы меток и рубрик с одной записью внутри,
• карточки товаров с описанием от производителя, слово в слово как у сорока других магазинов,
• страницы «Спасибо за заявку» и служебные разделы, которые случайно попали в sitemap.

Что с этим делать. Три страницы по 500 знаков про смежные услуги лучше слить в одну на 2000 знаков и поставить 301 со старых адресов. Пустые архивы закрыть через noindex. Служебные страницы вынести из карты сайта. Тексты, состоящие из воды, переписать под конкретные вопросы клиента: цена, сроки, что входит, что не входит.

Сроки возврата тут не мгновенные. Переоценка происходит на следующем обходе, реально это 2-6 недель. Дёргать переобход каждый день бесполезно, статус от этого не меняется.

Дубли и мусор съедают обход

Ситуация, где страниц загружено много, а в поиске мало, почти всегда про дубли. Робот тратит бюджет обхода на копии, а до нормальных страниц доходит по остаточному принципу.

Типовые источники дублей на сайте малого бизнеса:

• адреса со слешем на конце и без него,
• www и без www, http и https, если не настроена склейка,
• метки UTM и партнёрские параметры: ?utm_source=, ?from=, ?yclid=,
• пагинация: /blog/page/2/ с тем же title и description, что и первая страница,
• фильтры и сортировки в каталоге, генерирующие сотни комбинаций,
• версии для печати и AMP-копии, оставшиеся от старого подрядчика,
• дубли главной: /index.php, /home/, /main/.

Как искать, я подробно расписывал в материале про поиск дублей страниц. Коротко: список загруженных страниц из Вебмастера выгружается в файл, сортируется, и дубли видно глазами за десять минут.

Лечение зависит от типа. Технические варианты одного адреса (слеш, www, index.php) склеиваются 301-редиректом в htaccess. Параметры отсекаются директивой Clean-param в robots.txt, это как раз яндексовая история, Google её не понимает и использует другие механизмы. Пагинации ставится собственный canonical на саму себя плюс разные title. Фильтры закрываются noindex, кроме тех комбинаций, которые вы осознанно продвигаете.

Новый сайт и сайт после переезда: сколько ждать нормально

Частая паника на пустом месте: сайту две недели, в поиске главная, владелец уверен, что всё сломано. Ориентиры по срокам для небольшого сайта услуг без внешних ссылок:

• первые страницы в поиске: 1-3 недели после подтверждения прав и отправки sitemap,
• основная масса страниц: 1-3 месяца,
• после смены домена или структуры адресов: 2-8 недель на переиндексацию,
• после снятия запрета в robots или noindex: от недели до месяца, зависит от частоты обхода.

При переезде на новый домен обязательно постранично проставить 301 (не всё скопом на главную) и указать переезд в Вебмастере, раздел «Индексирование», пункт «Переезд сайта». Без этого Яндекс воспринимает новый домен как чужой сайт со скопированным контентом, а это дорога в те самые дубли.

Отдельно про низкий трафик. Робот ходит на сайт тем чаще, чем чаще там что-то меняется и чем больше на него ссылаются. Сайт-визитка, который не обновлялся полгода, робот навещает раз в несколько недель. Это не наказание, это экономия ресурсов на их стороне.

Что реально ускоряет индексацию

Порядок действий после того, как запреты сняты и дубли разобраны.

1. Карта сайта. Файл sitemap.xml с честным lastmod, без закрытых в robots адресов, без 404 и редиректов внутри. Добавляется в Вебмастере, раздел «Индексирование», пункт «Файлы Sitemap». У WordPress его отдаёт Rank Math или Yoast, у Битрикса штатный модуль, у Тильды генерируется автоматически.
2. Переобход. Раздел «Индексирование», пункт «Переобход страниц». Лимит квоты для небольшого сайта обычно десятки адресов в сутки и растёт вместе с сайтом. Отправляйте туда новые и серьёзно изменённые страницы, а не весь сайт подряд.
3. IndexNow. Пингует Яндекс сразу после публикации, работает автоматически из CMS. Настраивается один раз за полчаса, дальше не требует внимания. Как подключить и как проверить, что ключ принят, разбирал в статье про IndexNow для Яндекса.
4. Внутренние ссылки. Страница, на которую не ведёт ни одной ссылки с сайта, для робота почти не существует. Свяжите новые материалы со старыми, добавьте блоки «похожее» и ссылки из текста.
5. Скорость ответа. Держите время до первого байта в пределах 300-600 мс. Это влияет и на частоту обхода, и на ранжирование.
6. Регулярные публикации. Два-три материала в месяц заметно поднимают частоту визитов робота. Проверял на своём блоге: после выхода на регулярный график новые статьи стали появляться в поиске за 3-5 дней вместо трёх недель.

Чего делать не надо: покупать прогоны по каталогам, дёргать переобход одной и той же страницы каждый день, менять robots.txt каждую неделю в надежде угадать. Это шум, а не работа.

Когда дело не в технике

Если запретов нет, дубли разобраны, страницы нормальные, а поиск всё равно игнорирует сайт, остаются два неприятных сценария.

Первый: нарушения и фильтры. В Вебмастере есть раздел «Безопасность и нарушения». Там пишут прямым текстом про накрутку поведенческих, малополезный контент, партнёрские программы и аффилиаты (когда у одной компании несколько сайтов на одни и те же услуги, Яндекс оставляет в выдаче один). Само не рассосётся: нужно убрать причину и отправить сайт на перепроверку.

Второй: сайт взломан, и робот видит не то же, что вы. Подмена контента для поисковых ботов старая техника, при ней на ваших страницах роботу отдаётся чужой текст со ссылками на казино. Симптомы: в поиске появляются страницы, которых вы не создавали, а в статистике обхода растёт число неизвестных адресов. Проверяется тем же curl с подменой user-agent, лечится чисткой сайта, а не SEO.

Порядок действий на одну страницу

Короткий чек-лист, по которому я прохожу клиентский сайт с жалобой на индексацию:

1. Подтвердить права в Вебмастере, дождаться первых данных.
2. Снять три числа: загружено, в поиске, исключено.
3. Проверить blog_public, robots.txt, метатег robots и заголовок X-Robots-Tag на трёх разных страницах.
4. Сравнить canonical на трёх страницах, убедиться, что он ведёт на саму страницу.
5. Прогнать curl с заголовками и посмотреть коды ответа и цепочки редиректов, в том числе от имени робота.
6. Разобрать список исключённых страниц по статусам, посчитать, какой преобладает.
7. Проверить sitemap: доступен, актуален, без закрытых и битых адресов.
8. Заглянуть в «Безопасность и нарушения».
9. Исправить найденное, отправить ключевые страницы на переобход, подключить IndexNow.
10. Вернуться к цифрам через две недели и через месяц. Не через день.

Первые пять пунктов занимают около часа и закрывают большинство случаев. Дальше начинается работа над содержимым, а это уже не разовая задача.

Если сайт стоит без индексации не первый месяц и разбираться самому некогда, напишите через форму на главной: пришлю разбор с конкретным списком причин и порядком починки. Регулярная проверка индексации, статусов в Вебмастере и sitemap входит в абонентское обслуживание, состав работ и цены есть в тарифах. Другие материалы по поиску и техническому SEO лежат в рубрике про SEO.

Частые вопросы

Почему сайт не индексируется в Яндексе

Чаще всего из-за запрета: строка в robots.txt, мета-тег с запретом индексации, закрытая от роботов тестовая площадка, которую забыли открыть. Это первое, что проверяют.

Где смотреть причину исключения

В Вебмастере в разделе со страницами в поиске: там у каждого исключённого адреса указан статус. Недостаточно качественная, дубль, запрет в robots это три разных диагноза с разным лечением.

Сколько ждать индексации нового сайта

Первые страницы появляются за недели, полный обход занимает месяцы. На живом сайте с трафиком новая статья попадает в поиск за дни, на новом домене этот срок в разы больше.

Что реально ускоряет индексацию

Внутренние ссылки на новые страницы, карта сайта, отправка адресов через протокол мгновенного оповещения и быстрый ответ сервера. Время до первого байта стоит держать в пределах 300-600 мс.