Robots.txt-generator

Slik bruker du det

1. Velg et utgangspunkt: tillat alt, blokker AI-trening, blokker alle AI-roboter eller blokker alt.
2. Legg til sitemapen din, mapper som skal holdes private, og andre roboter som skal blokkeres.
3. Kopier eller last ned robots.txt og legg den i roten av nettstedet ditt, så den ligger på https://your-site/robots.txt.

Søkemotorer, AI-søk og AI-trening

Roboter finnes nå i tre slag, og robots.txt kan behandle hvert av dem forskjellig:

• Søkemotorer (Googlebot, Bingbot) indekserer sider for søkeresultater.
• AI-søk og assistenter (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot) henter sider for å svare på spørsmål, og siterer og lenker vanligvis til dem.
• Roboter for AI-trening (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot og andre) samler inn sider for å trene modeller.

Blokker AI-trening holder den siste gruppen ute, mens du blir værende i søkeresultater og AI-svar. Google-Extended og Applebot-Extended påvirker ikke søk hos Google eller Apple; de styrer bare trening.

Feilen som skjuler et nettsted

En robot følger bare den mest spesifikke gruppen som nevner den. Så snart GPTBot har en egen gruppe, gjelder ikke lenger reglene under User-agent: * for den. Holder du altså /admin/ privat for * og legger til en gruppe for en annen robot som tillater resten av nettstedet, kan den roboten lese /admin/. Generatoren advarer om dette; gjenta linjene i hver gruppe.

Ofte stilte spørsmål

Holder robots.txt en side ute av Google?

Ikke pålitelig. Den stopper gjennomsøking, ikke indeksering: en blokkert side kan likevel dukke opp i resultater hvis andre nettsteder lenker til den. For å holde en side ute, la den gjennomsøkes og legg til <meta name="robots" content="noindex">, som Metatag-generator skriver.

Må roboter følge den?

Det er en frivillig standard (RFC 9309). De store søkemotorene og AI-selskapene sier at robotene deres følger den; andre gjør det kanskje ikke. Ikke bruk den til å skjule noe privat: det er en offentlig fil som lister opp nettopp stiene du helst ikke vil ha gjennomsøkt.

Hvor legger jeg filen på Lobsite?

Legg robots.txt øverst i mappen du deployer, ved siden av index.html. Nettsteder uten konto indekseres uansett aldri: Lobsite leverer dem med X-Robots-Tag: noindex til de beholdes i en konto.

Bør jeg legge til sitemapen min?

Ja. Linjen Sitemap: er den enkleste måten for roboter å finne hver side. Lag en med XML-sitemap-generator.