Как пользоваться
- Выберите отправную точку: разрешить всё, запретить обучение ИИ, запретить всех ИИ-ботов или запретить всё.
- Добавьте sitemap, папки, которые должны оставаться закрытыми, и других ботов, которых нужно заблокировать.
- Скопируйте или скачайте
robots.txtи положите его в корень сайта, чтобы он открывался по адресуhttps://your-site/robots.txt.
Поисковики, ИИ-поиск и обучение ИИ
Сейчас боты бывают трёх видов, и robots.txt может обращаться с каждым по-своему:
- Поисковики (Googlebot, Bingbot) индексируют страницы для результатов поиска.
- ИИ-поиск и ассистенты (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot) загружают страницы, чтобы отвечать на вопросы, и обычно цитируют их и ссылаются на них.
- Боты для обучения ИИ (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot и другие) собирают страницы для обучения моделей.
Запретить обучение ИИ не пускает последнюю группу, а вы остаётесь в результатах поиска и ответах ИИ. Google-Extended и Applebot-Extended не влияют на поиск Google и Apple — они управляют только обучением.
Ошибка, которая прячет сайт
Бот подчиняется только самой конкретной группе, в которой он назван. Как только у GPTBot появляется своя группа, правила под User-agent: * на него больше не действуют. Поэтому если вы закрыли /admin/ для * и добавили для другого бота группу, разрешающую остальной сайт, этот бот сможет читать /admin/. Генератор об этом предупреждает; повторяйте строки в каждой группе.
Частые вопросы
Убирает ли robots.txt страницу из Google?
Не надёжно. Он запрещает обход, а не индексацию: заблокированная страница всё равно может попасть в выдачу, если на неё ссылаются другие сайты. Чтобы исключить страницу, разрешите её обход и добавьте <meta name="robots" content="noindex"> — этот тег пишет Генератор мета-тегов.
Обязаны ли боты его соблюдать?
Это добровольный стандарт (RFC 9309). Крупные поисковики и ИИ-компании заявляют, что их боты его соблюдают; другие могут и не соблюдать. Не используйте его, чтобы прятать что-то личное: это публичный файл, который как раз перечисляет пути, которые вы не хотели бы отдавать на обход.
Куда положить файл в Lobsite?
Положите robots.txt на верхний уровень папки, которую деплоите, рядом с index.html. Сайты без аккаунта и так никогда не индексируются: Lobsite отдаёт их с X-Robots-Tag: noindex, пока их не сохранят в аккаунте.
Стоит ли добавить sitemap?
Да. Строка Sitemap: — самый простой способ помочь ботам найти все страницы. Создайте карту сайта в Генераторе XML-карты сайта.