Как запретить индексацию сайта?

Надежнее всего закрыть весь раздел паролем через .htaccess (Basic Auth) — тогда поисковый робот вообще не получит доступа к странице и постепенно выпадет из индекса сам. Если пароль неудобен, добавьте мета-тег <meta name=»robots» content=»noindex, nofollow»> в head каждой страницы, а в WordPress достаточно включить галочку «Попросить поисковые системы не индексировать сайт» в Настройки -> Чтение.

Важный нюанс: запрет в robots.txt (Disallow) — это не то же самое, что noindex. Если закрыть раздел через robots.txt, робот вообще перестанет заходить на эти страницы и не увидит на них тег noindex, а уже проиндексированные URL могут остаться в выдаче без сниппета неопределенно долго. Для быстрого выпадения из поиска нужен именно noindex, доступный роботу для чтения, либо пароль на весь раздел.

Если тестовая копия уже засветилась в результатах поиска, ускорить дело поможет ручное удаление: в Яндекс.Вебмастере — раздел «Удаление страниц из поиска», в Google Search Console — инструмент «Удаления». Это уберет страницы из выдачи за 1-3 дня, пока основной механизм (noindex или пароль) не даст эффект сам по себе.