Как закрыть сайт от индексации?

Закрыть сайт от индексации проще всего через файл robots.txt: директива Disallow: / в корне сайта просит поисковых роботов не заходить ни на одну страницу. Для надёжности стоит добавить ещё мета-тег robots со значением noindex в код каждой страницы, а тестовые копии на поддоменах дополнительно закрыть паролем через настройки хостинга — тогда роботы вообще не смогут туда попасть.

Robots.txt — это просьба, а не команда: крупные поисковики вроде Яндекса и Google её соблюдают, но агрессивные боты и парсеры игнорируют файл полностью. Есть и менее очевидный подвох: если страница заблокирована в robots.txt, Google иногда всё равно показывает её URL в выдаче без описания, потому что физически не может увидеть тег noindex внутри страницы, до которой роботу запрещено доходить.

Самый надёжный вариант для тестовой копии — защита паролем (Basic Auth) через .htaccess или настройки хостинга: роботы вообще не получают доступ к содержимому, а не просто не индексируют его. В WordPress есть также готовая галочка в разделе Настройки — Чтение, «Попросить поисковые системы не индексировать сайт», она автоматически добавляет noindex, но полагаться только на неё для важной тестовой копии не стоит.