Где находится файл robots.txt?
Дмитрий, Москва 0
Хочу закрыть от индексации служебные страницы сайта на WordPress - корзину и личный кабинет. Погуглил, все советуют править robots.txt, но я не могу найти этот файл ни в файловом менеджере хостинга, ни через FTP. Куда он вообще делся?
Дмитрий Акиндинов технический администратор сайтов
ответил
Файл robots.txt всегда лежит в корне сайта и открывается по адресу вашсайт.ru/robots.txt — это можно проверить прямо в браузере. Но в WordPress физического файла на сервере часто нет: система создаёт его виртуально на лету, поэтому в файловом менеджере или по FTP его действительно не видно, пока вы не загрузите его сами или пока его не создаст SEO-плагин.
Если стоит Rank Math или Yoast SEO, редактировать robots.txt удобнее через сам плагин: в настройках SEO обычно есть отдельный экран с полем для правки прямо в админке, без FTP. Как только там что-то меняют и сохраняют, плагин создаёт настоящий файл в корне, и виртуальная версия WordPress перестаёт использоваться.
Важная оговорка по вашей задаче: правило в robots.txt запрещает роботу заходить на страницу, но не гарантирует, что она не попадёт в выдачу — если на закрытую страницу ведут ссылки с других сайтов, Google и Яндекс иногда всё равно показывают её в результатах, просто без описания. Для гарантированного скрытия личного кабинета и корзины из выдачи нужен не robots.txt, а метатег noindex на самих этих страницах или их закрытие по паролю.
На Tilda и в других конструкторах доступа к файлу нет вовсе — там правила для robots.txt добавляют через отдельное поле в настройках SEO сайта, и система сама собирает из него итоговый файл на своём адресе.
Задать свой вопрос
Вопросы проходят модерацию. Ответ появляется на сайте в течение пары дней.
Вопрос отправлен. После проверки он появится на сайте вместе с ответом.
Вопрос не отправлен: нужно подтвердить согласие на обработку персональных данных.