Что закрывать
Обычно закрывают служебные разделы, фильтры, приватные черновики и технические URL, которые не должны попадать в индекс.
Укажите домен, sitemap и закрытые пути, чтобы получить готовый robots.txt для корня сайта.
Обычно закрывают служебные разделы, фильтры, приватные черновики и технические URL, которые не должны попадать в индекс.
Можно явно разрешить retrieval-ботов, чтобы AI-поиск видел полезные страницы сайта.
Файл размещают в корне сайта, например https://example.com/robots.txt.
Нет. Для секретных страниц нужна авторизация или ограничение доступа на сервере.