Як користуватися
- Виберіть початковий варіант: дозволити все, заблокувати навчання ШІ, заблокувати всіх ШІ-сканерів або заблокувати все.
- Додайте карту сайту, папки, які хочете залишити приватними, та інших сканерів, яких потрібно заблокувати.
- Скопіюйте або завантажте
robots.txtі розмістіть його в корені сайту за адресоюhttps://your-site/robots.txt.
Пошукові системи, ШІ-пошук і навчання ШІ
Тепер існують три види сканерів, і robots.txt може задавати різні правила для кожного:
- Пошукові системи (Googlebot, Bingbot) індексують сторінки для результатів пошуку.
- ШІ-пошук і асистенти (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot) завантажують сторінки, щоб відповідати на запитання, і зазвичай цитують їх та додають посилання.
- Сканери для навчання ШІ (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot та інші) збирають сторінки для навчання моделей.
Заблокувати навчання ШІ забороняє доступ останній групі, залишаючи вас у результатах пошуку та відповідях ШІ. Google-Extended і Applebot-Extended не впливають на пошук Google чи Apple; вони керують лише навчанням.
Помилка, через яку сайт стає прихованим
Сканер виконує правила лише найконкретнішої групи, де його названо. Щойно GPTBot має власну групу, правила в User-agent: * більше до нього не застосовуються. Тож якщо ви приховуєте /admin/ для * і додаєте групу іншого сканера, яка дозволяє решту сайту, цей сканер зможе читати /admin/. Генератор попереджає про це; повторіть рядки в кожній групі.
Поширені запитання
Чи не дає robots.txt сторінці потрапити в Google?
Це ненадійний спосіб. Він зупиняє сканування, а не індексування: заблокована сторінка все одно може з'явитися в результатах, якщо на неї посилаються інші сайти. Щоб виключити сторінку, дозвольте її сканування та додайте <meta name="robots" content="noindex">, який створює Генератор метатегів.
Чи зобов'язані сканери його дотримуватися?
Це добровільний стандарт (RFC 9309). Основні пошукові системи та ШІ-компанії стверджують, що їхні сканери дотримуються його; інші можуть цього не робити. Не використовуйте його для приховування приватних даних: це загальнодоступний файл зі шляхами, які ви не хочете сканувати.
Де розмістити файл у Lobsite?
Розмістіть robots.txt на верхньому рівні папки, яку розгортаєте, поряд із index.html. Сайти без облікового запису й так не індексуються: Lobsite віддає їх із X-Robots-Tag: noindex, доки їх не збережуть в обліковому записі.
Чи потрібно додати карту сайту?
Так. Рядок Sitemap: — найпростіший спосіб допомогти сканерам знайти кожну сторінку. Створіть її за допомогою Генератора XML-карти сайту.