Почему нельзя блокировать карту сайта в robots.txt?

Блокировать sitemap.xml через Disallow в robots.txt нельзя, потому что тогда поисковый робот вообще не сможет прочитать список страниц сайта — карта перестанет выполнять свою единственную задачу. Формально файл остаётся доступен по прямой ссылке, но робот, который уважает правила robots.txt, откажется его загружать и просто пропустит.

Путаница обычно из-за смешения двух разных вещей: Disallow относится к обходу страниц, а не к их индексации напрямую. Для служебного файла вроде sitemap.xml запрет на обход лишает его смысла целиком. Если цель — снизить нагрузку от ботов, правильный путь другой: разобраться, какой конкретно бот создаёт проблему, а не закрывать сам файл карты.

Правильная настройка простая: строка Sitemap: https://ваш-сайт.ru/sitemap.xml прописывается в robots.txt отдельной директивой, а не через Disallow — это официальный способ подсказать роботу, где искать карту. Проверить, не заблокирован ли файл прямо сейчас, можно в Яндекс.Вебмастере, в разделе «Индексирование — Файлы Sitemap»: при ошибке там так и написано — «заблокирован robots.txt».

Уберите строку Disallow, которая указывает на sitemap.xml (иногда по ошибке закрывают вообще весь корень сайта звёздочкой), сохраните файл и отправьте карту на переобход через панель вебмастера. Обычно в течение суток статус меняется на «загружен успешно».