Como usar
- Escolha um ponto de partida: permitir tudo, bloquear treino de IA, bloquear todos os robôs de IA ou bloquear tudo.
- Adicione seu sitemap, as pastas que devem ficar privadas e outros robôs que quiser bloquear.
- Copie ou baixe o
robots.txte coloque-o na raiz do seu site, para que fique emhttps://your-site/robots.txt.
Buscadores, busca com IA e treino de IA
Hoje os robôs são de três tipos, e o robots.txt pode tratar cada um de um jeito:
- Buscadores (Googlebot, Bingbot) indexam páginas para os resultados de busca.
- Busca com IA e assistentes (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot) buscam páginas para responder perguntas, e normalmente as citam e linkam.
- Robôs de treino de IA (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot e outros) coletam páginas para treinar modelos.
Bloquear treino de IA deixa o último grupo de fora enquanto você continua nos resultados de busca e nas respostas de IA. Google-Extended e Applebot-Extended não afetam a busca do Google nem da Apple; eles só controlam o treino.
O erro que esconde um site
Um robô só obedece ao grupo mais específico que o menciona. Assim que o GPTBot tem um grupo próprio, as regras sob User-agent: * deixam de valer para ele. Então, se você mantém /admin/ privado para * e adiciona um grupo para outro robô que permite o resto do site, esse robô pode ler /admin/. O gerador avisa sobre isso; repita as linhas em cada grupo.
Perguntas frequentes
O robots.txt tira uma página do Google?
Não de forma confiável. Ele impede o rastreamento, não a indexação: uma página bloqueada ainda pode aparecer nos resultados se outros sites a linkarem. Para tirar uma página, deixe-a ser rastreada e adicione <meta name="robots" content="noindex">, que o Gerador de meta tags escreve.
Os robôs são obrigados a obedecer?
É um padrão voluntário (RFC 9309). Os principais buscadores e empresas de IA dizem que seus robôs o seguem; outros podem não seguir. Não use para esconder nada privado: é um arquivo público que lista justamente os caminhos que você prefere que não sejam rastreados.
Onde fica o arquivo no Lobsite?
Coloque o robots.txt na raiz da pasta que você publica, ao lado do index.html. Sites sem conta nunca são indexados de qualquer forma: o Lobsite os serve com X-Robots-Tag: noindex até serem mantidos numa conta.
Devo adicionar meu sitemap?
Sim. A linha Sitemap: é o jeito mais simples de os robôs encontrarem todas as páginas. Crie um com o Gerador de sitemap XML.