Создать robots.txt онлайн

Укажите домен, sitemap и закрытые пути, чтобы получить готовый robots.txt для корня сайта.

Создать robots.txt

Что закрывать

Обычно закрывают служебные разделы, фильтры, приватные черновики и технические URL, которые не должны попадать в индекс.

AI-боты

Можно явно разрешить retrieval-ботов, чтобы AI-поиск видел полезные страницы сайта.

Частые вопросы

Куда положить robots.txt?

Файл размещают в корне сайта, например https://example.com/robots.txt.

Можно ли через robots.txt скрыть секретную страницу?

Нет. Для секретных страниц нужна авторизация или ограничение доступа на сервере.