Что такое robots.txt?

Robots.txt — это обычный текстовый файл в корне сайта по адресу вашсайт.ru/robots.txt, который сообщает поисковым роботам Яндекса и Google, какие разделы сайта не стоит обходить при сканировании — обычно это админка, служебные страницы, результаты внутреннего поиска. На отображение сайта в браузере он никак не влияет, это инструкция именно для роботов, а не для людей.

Файл появился ещё в 1994 году как добровольное соглашение между владельцами сайтов и разработчиками поисковых систем, и добросовестные роботы вроде Яндекса и Google его соблюдают. Состоит он из простых правил: строка User-agent указывает, к какому роботу относится блок, а строки Disallow перечисляют пути, куда заходить не нужно. Без единой строки в файле роботы обходят весь сайт целиком, что для большинства проектов и есть нормальное поведение.

Важно понимать границу: robots.txt закрывает страницу от обхода, но не гарантирует, что она не попадёт в выдачу. Если на закрытую страницу ведут ссылки с других сайтов, поисковик иногда всё равно показывает её в результатах, просто без описания — файл только просит робота не заходить внутрь, а не запрещает знать о существовании страницы. Для гарантированного скрытия нужен отдельный инструмент, метатег noindex на самой странице.

Для только что запущенного сайта без служебных разделов, требующих скрытия, простейший рабочий файл выглядит так: строка User-agent: * разрешает правила для всех роботов, а следом идёт строка Sitemap с адресом карты сайта — это помогает роботам быстрее находить новые страницы. Если в вашей CMS есть SEO-плагин вроде Rank Math или Yoast, такой файл он создаёт и обновляет сам, без ручной правки кода.