Как закрыть страницу от индексации?

Надёжный способ закрыть страницу от индексации — добавить в её <head> тег meta name=»robots» content=»noindex, follow», а для файлов не в HTML вроде PDF — HTTP-заголовок X-Robots-Tag: noindex. Через несколько дней после повторного обхода страница пропадает из выдачи Яндекса и Google.

robots.txt для этой задачи не подходит: правило Disallow только просит робота не заходить на страницу, но если на неё уже ведут ссылки, Google может всё равно показать её в выдаче без описания — похоже на то, что происходит у вас. Если страница уже в индексе, сначала снимите с неё Disallow, иначе робот физически не зайдёт на неё и не увидит новый noindex.

Для срочного случая есть инструмент «Удаление URL» в Google Search Console и похожий в Яндекс.Вебмастере — он прячет страницу из выдачи на полгода, пока noindex на самой странице не закрепит результат.

В WordPress noindex для конкретной страницы обычно можно поставить прямо в настройках Rank Math или Yoast, в разделе SEO для этой записи, без правки кода вручную.