SEO для малого бизнеса

Где находится файл robots.txt?

Дмитрий, Москва 0

Хочу закрыть от индексации служебные страницы сайта на WordPress - корзину и личный кабинет. Погуглил, все советуют править robots.txt, но я не могу найти этот файл ни в файловом менеджере хостинга, ни через FTP. Куда он вообще делся?

Дмитрий Акиндинов технический администратор сайтов

ответил

Файл robots.txt всегда лежит в корне сайта и открывается по адресу вашсайт.ru/robots.txt — это можно проверить прямо в браузере. Но в WordPress физического файла на сервере часто нет: система создаёт его виртуально на лету, поэтому в файловом менеджере или по FTP его действительно не видно, пока вы не загрузите его сами или пока его не создаст SEO-плагин.

Если стоит Rank Math или Yoast SEO, редактировать robots.txt удобнее через сам плагин: в настройках SEO обычно есть отдельный экран с полем для правки прямо в админке, без FTP. Как только там что-то меняют и сохраняют, плагин создаёт настоящий файл в корне, и виртуальная версия WordPress перестаёт использоваться.

Важная оговорка по вашей задаче: правило в robots.txt запрещает роботу заходить на страницу, но не гарантирует, что она не попадёт в выдачу — если на закрытую страницу ведут ссылки с других сайтов, Google и Яндекс иногда всё равно показывают её в результатах, просто без описания. Для гарантированного скрытия личного кабинета и корзины из выдачи нужен не robots.txt, а метатег noindex на самих этих страницах или их закрытие по паролю.

На Tilda и в других конструкторах доступа к файлу нет вовсе — там правила для robots.txt добавляют через отдельное поле в настройках SEO сайта, и система сама собирает из него итоговый файл на своём адресе.

Подробный разбор Как закрыть страницы от индексации: robots, noindex и что не работает

Задать свой вопрос

Вопросы проходят модерацию. Ответ появляется на сайте в течение пары дней.

Похожие вопросы

Все вопросы по теме "SEO для малого бизнеса"

Заявка

Обсудим задачу

Напишите имя и телефон, выберите удобный канал. Перезвоню или напишу в течение часа в рабочее время.

Куда удобнее ответить?