Генератор robots.txt
Создание robots.txt с Host, Sitemap, закрытыми путями и правилами для поисковых и AI-ботов.
Генератор robots.txt
Создание robots.txt с Host, Sitemap, закрытыми путями и правилами для поисковых и AI-ботов.
robots.txt, robots generator, seo, crawl, роботс, генератор robots, ai bots
Как создать robots.txt
Генератор robots.txt помогает быстро собрать базовые правила обхода сайта для поисковых роботов.
Можно указать Host, Sitemap, закрытые пути, Crawl-delay и отдельные правила для AI retrieval-ботов.
Инструмент подходит для статических сайтов, блогов, каталогов инструментов, интернет-магазинов и документации.
Для чего подходит
- User-agent: *
- Allow и Disallow
- Host и Sitemap
- Crawl-delay
- правила для OAI-SearchBot, ChatGPT-User, PerplexityBot и Claude-SearchBot
Формулы
- Allow: / разрешает обход сайта.
- Disallow: /private закрывает путь /private от обхода.
- Sitemap указывает поисковику адрес XML-карты сайта.
Как пользоваться
- Введите домен сайта.
- Укажите адрес sitemap.xml.
- Добавьте закрытые пути по одному на строку.
- При необходимости включите AI-ботов и Crawl-delay.
- Скачайте robots.txt и разместите в корне сайта.
Примеры
Частые вопросы
robots.txt защищает приватные данные?
Нет. robots.txt является рекомендацией для роботов, а не механизмом безопасности. Приватные разделы нужно закрывать авторизацией.
Нужно ли добавлять Sitemap?
Да, это помогает поисковикам быстрее находить важные URL сайта.