Générateur de robots.txt avec préréglages robots IA

Comment l’utiliser

Choisissez un point de départ : tout autoriser, bloquer l’entraînement IA, bloquer tous les robots IA ou tout bloquer.
Ajoutez votre sitemap, les dossiers à garder privés et les autres robots à bloquer.
Copiez ou téléchargez robots.txt et placez-le à la racine de votre site, pour qu’il soit à https://your-site/robots.txt.

Moteurs de recherche, recherche IA et entraînement IA

Les robots se divisent désormais en trois catégories, et robots.txt peut traiter chacune différemment :

Les moteurs de recherche (Googlebot, Bingbot) indexent les pages pour les résultats de recherche.
La recherche IA et les assistants (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot) récupèrent des pages pour répondre aux questions, et en général les citent et y renvoient.
Les robots d’entraînement IA (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot et d’autres) collectent des pages pour entraîner des modèles.

Bloquer l’entraînement IA écarte le dernier groupe tout en vous gardant dans les résultats de recherche et les réponses des IA. Google-Extended et Applebot-Extended n’ont aucun effet sur la recherche de Google ou d’Apple ; ils ne contrôlent que l’entraînement.

L’erreur qui cache un site

Un robot n’obéit qu’au groupe le plus précis qui le nomme. Dès que GPTBot a son propre groupe, les règles sous User-agent: * ne s’appliquent plus à lui. Si vous gardez /admin/ privé pour * et ajoutez pour un autre robot un groupe qui autorise le reste du site, ce robot peut lire /admin/. Le générateur vous prévient ; répétez les lignes dans chaque groupe.

Questions fréquentes

robots.txt empêche-t-il une page d’apparaître dans Google ?

Pas de façon fiable. Il empêche l’exploration, pas l’indexation : une page bloquée peut quand même apparaître dans les résultats si d’autres sites pointent vers elle. Pour exclure une page, laissez-la être explorée et ajoutez <meta name="robots" content="noindex">, que le Générateur de balises meta écrit pour vous.

Les robots sont-ils obligés de le respecter ?

C’est un standard volontaire (RFC 9309). Les grands moteurs de recherche et les entreprises d’IA disent que leurs robots le respectent ; d’autres peuvent ne pas le faire. Ne l’utilisez pas pour cacher quoi que ce soit de privé : c’est un fichier public qui liste justement les chemins que vous préférez ne pas voir explorés.

Où mettre le fichier sur Lobsite ?

Placez robots.txt à la racine du dossier que vous déployez, à côté de index.html. Les sites sans compte ne sont de toute façon jamais indexés : Lobsite les sert avec X-Robots-Tag: noindex tant qu’ils ne sont pas gardés dans un compte.

Dois-je ajouter mon sitemap ?

Oui. La ligne Sitemap: est le moyen le plus simple pour que les robots trouvent toutes les pages. Créez-en un avec le Générateur de sitemap XML.