Robots.txt-Generator mit Vorlagen für KI-Crawler

So nutzt du es

Wähle einen Ausgangspunkt: alles erlauben, KI-Training sperren, alle KI-Crawler sperren oder alles sperren.
Füg deine Sitemap hinzu, Ordner, die privat bleiben sollen, und weitere Crawler, die du sperren willst.
Kopiere robots.txt oder lade die Datei herunter und leg sie in die Wurzel deiner Website, damit sie unter https://your-site/robots.txt liegt.

Suchmaschinen, KI-Suche und KI-Training

Crawler gibt es inzwischen in drei Arten, und robots.txt kann jede anders behandeln:

Suchmaschinen (Googlebot, Bingbot) indexieren Seiten für Suchergebnisse.
KI-Suche und Assistenten (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot) rufen Seiten ab, um Fragen zu beantworten, und zitieren und verlinken sie meist.
KI-Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot und weitere) sammeln Seiten, um Modelle zu trainieren.

KI-Training sperren hält die letzte Gruppe draußen, während du in Suchergebnissen und KI-Antworten bleibst. Google-Extended und Applebot-Extended beeinflussen die Suche von Google oder Apple nicht; sie steuern nur das Training.

Der Fehler, der eine Website versteckt

Ein Crawler befolgt nur die spezifischste Gruppe, die ihn nennt. Sobald GPTBot eine eigene Gruppe hat, gelten die Regeln unter User-agent: * nicht mehr für ihn. Hältst du also /admin/ für * privat und fügst eine Gruppe für einen anderen Crawler hinzu, die den Rest der Website erlaubt, kann dieser Crawler /admin/ lesen. Der Generator warnt davor; wiederhole die Zeilen in jeder Gruppe.

Häufige Fragen

Hält robots.txt eine Seite aus Google heraus?

Nicht zuverlässig. Sie stoppt das Crawlen, nicht das Indexieren: Eine gesperrte Seite kann trotzdem in Ergebnissen erscheinen, wenn andere Websites auf sie verlinken. Um eine Seite herauszuhalten, lass sie crawlen und füg <meta name="robots" content="noindex"> hinzu, das der Meta-Tag-Generator schreibt.

Müssen Crawler sie befolgen?

Es ist ein freiwilliger Standard (RFC 9309). Die großen Suchmaschinen und KI-Unternehmen sagen, dass ihre Crawler ihn befolgen; andere tun es vielleicht nicht. Nutze sie nicht, um etwas Privates zu verstecken: Es ist eine öffentliche Datei, die genau die Pfade auflistet, die du lieber nicht gecrawlt hättest.

Wohin kommt die Datei auf Lobsite?

Leg robots.txt ganz oben in den Ordner, den du deployst, neben index.html. Websites ohne Konto werden ohnehin nie indexiert: Lobsite liefert sie mit X-Robots-Tag: noindex aus, bis sie in einem Konto behalten werden.

Sollte ich meine Sitemap hinzufügen?

Ja. Die Zeile Sitemap: ist der einfachste Weg für Crawler, jede Seite zu finden. Erstelle eine mit dem XML-Sitemap-Generator.