Robots.txt-generator met presets voor AI-crawlers

Zo gebruik je het

Kies een startpunt: alles toestaan, AI-training blokkeren, alle AI-crawlers blokkeren of alles blokkeren.
Voeg je sitemap toe, mappen die privé moeten blijven, en andere crawlers die je wilt blokkeren.
Kopieer of download robots.txt en zet het in de basis van je site, zodat het op https://your-site/robots.txt staat.

Zoekmachines, AI-zoeken en AI-training

Crawlers zijn er nu in drie soorten, en robots.txt kan elke soort anders behandelen:

Zoekmachines (Googlebot, Bingbot) indexeren pagina's voor zoekresultaten.
AI-zoeken en assistenten (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot) halen pagina's op om vragen te beantwoorden, en citeren en linken er meestal naar.
AI-trainingscrawlers (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot en andere) verzamelen pagina's om modellen te trainen.

AI-training blokkeren houdt de laatste groep buiten terwijl je in zoekresultaten en AI-antwoorden blijft. Google-Extended en Applebot-Extended hebben geen invloed op zoeken bij Google of Apple; ze regelen alleen training.

De fout die een site verstopt

Een crawler volgt alleen de meest specifieke groep die hem noemt. Zodra GPTBot een eigen groep heeft, gelden de regels onder User-agent: * niet meer voor hem. Houd je /admin/ privé voor * en voeg je een groep toe voor een andere crawler die de rest van de site toestaat, dan kan die crawler /admin/ lezen. De generator waarschuwt hiervoor; herhaal de regels in elke groep.

Veelgestelde vragen

Houdt robots.txt een pagina uit Google?

Niet betrouwbaar. Het stopt crawlen, niet indexeren: een geblokkeerde pagina kan toch in resultaten verschijnen als andere sites ernaar linken. Wil je een pagina buiten houden, laat haar dan crawlen en voeg <meta name="robots" content="noindex"> toe, dat de Meta-taggenerator schrijft.

Moeten crawlers zich eraan houden?

Het is een vrijwillige standaard (RFC 9309). De grote zoekmachines en AI-bedrijven zeggen dat hun crawlers hem volgen; andere misschien niet. Gebruik het niet om iets privés te verbergen: het is een openbaar bestand dat precies de paden opsomt die je liever niet gecrawld ziet.

Waar zet ik het bestand op Lobsite?

Zet robots.txt bovenaan in de map die je deployt, naast index.html. Sites zonder account worden sowieso nooit geïndexeerd: Lobsite serveert ze met X-Robots-Tag: noindex tot ze in een account worden gehouden.

Moet ik mijn sitemap toevoegen?

Ja. De regel Sitemap: is de eenvoudigste manier voor crawlers om elke pagina te vinden. Maak er een met de XML-sitemapgenerator.