Cómo usarlo
- Elige un punto de partida: permitir todo, bloquear entrenamiento de IA, bloquear todos los bots de IA o bloquear todo.
- Añade tu sitemap, las carpetas que quieres mantener privadas y cualquier otro bot que quieras bloquear.
- Copia o descarga
robots.txty ponlo en la raíz de tu sitio, para que esté enhttps://your-site/robots.txt.
Buscadores, búsqueda con IA y entrenamiento de IA
Hoy los bots son de tres tipos, y robots.txt puede tratar cada uno de forma distinta:
- Los buscadores (Googlebot, Bingbot) indexan páginas para los resultados de búsqueda.
- La búsqueda con IA y los asistentes (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot) obtienen páginas para responder preguntas, y normalmente las citan y enlazan.
- Los bots de entrenamiento de IA (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot y otros) recopilan páginas para entrenar modelos.
Bloquear entrenamiento de IA deja fuera al último grupo mientras sigues en los resultados de búsqueda y en las respuestas de IA. Google-Extended y Applebot-Extended no afectan a la búsqueda de Google ni de Apple; solo controlan el entrenamiento.
El error que oculta un sitio
Un bot solo obedece el grupo más específico que lo nombra. Cuando GPTBot tiene su propio grupo, las reglas bajo User-agent: * dejan de aplicarse a él. Así que si mantienes /admin/ privado para * y añades un grupo para otro bot que permite el resto del sitio, ese bot puede leer /admin/. El generador te avisa; repite las líneas en cada grupo.
Preguntas frecuentes
¿robots.txt deja una página fuera de Google?
No de forma fiable. Detiene el rastreo, no la indexación: una página bloqueada puede aparecer igualmente en los resultados si otros sitios la enlazan. Para dejar fuera una página, deja que se rastree y añade <meta name="robots" content="noindex">, que escribe el Generador de metaetiquetas.
¿Los bots tienen que obedecerlo?
Es un estándar voluntario (RFC 9309). Los principales buscadores y empresas de IA dicen que sus bots lo siguen; otros pueden no hacerlo. No lo uses para ocultar nada privado: es un archivo público que enumera las rutas que prefieres que no se rastreen.
¿Dónde va el archivo en Lobsite?
Pon robots.txt en la raíz de la carpeta que despliegas, junto a index.html. Los sitios sin cuenta nunca se indexan de todos modos: Lobsite los sirve con X-Robots-Tag: noindex hasta que se conservan en una cuenta.
¿Debo añadir mi sitemap?
Sí. La línea Sitemap: es la forma más sencilla de que los bots encuentren todas las páginas. Crea uno con el Generador de sitemap XML.