Как настроить robots.txt?

Robots.txt — это обычный текстовый файл в корне сайта (адрес вида сайт.ру/robots.txt), который директивами User-agent и Disallow подсказывает поисковым роботам, какие разделы сайта не нужно обходить: админку, служебные страницы, корзину с фильтрами. Обязательно добавить в файл строку Sitemap: https://ваш-сайт.ру/sitemap.xml — без неё робот дольше находит новые страницы.

Минимальный рабочий файл для большинства сайтов выглядит так: строка User-agent: * разрешает правила для всех роботов, дальше несколько строк Disallow с адресами закрываемых разделов — например /wp-admin/ для WordPress, /cart/ для корзины интернет-магазина. Синтаксис важен: одна ошибка в пути или лишний слэш может случайно закрыть от индексации весь сайт вместо одного раздела, поэтому после любой правки стоит проверять файл через инструмент проверки в Яндекс.Вебмастере или Google Search Console.

Частая путаница — robots.txt не гарантирует полное исключение страницы из индекса, это лишь рекомендация роботу не заходить на неё при обходе. Если страница уже проиндексирована и на неё ведут внешние ссылки, робот может показать её в выдаче даже с запретом в robots.txt, просто без описания. Для гарантированного скрытия страницы нужен мета-тег noindex прямо в её коде — одной записи в robots.txt для этого недостаточно.

На большинстве CMS файл можно править без доступа к серверу: в WordPress через плагин Rank Math или Yoast SEO есть встроенный редактор robots.txt в настройках, в 1С-Битрикс — в модуле поисковой оптимизации. Если такого раздела в админке нет, файл редактируют вручную через FTP-доступ и загружают в корень сайта простым текстовым редактором.