Generator robots.txt z ustawieniami dla botów AI

Jak tego używać

Wybierz punkt wyjścia: zezwól na wszystko, zablokuj trenowanie AI, zablokuj wszystkie boty AI albo zablokuj wszystko.
Dodaj mapę strony, foldery, które mają zostać prywatne, i inne boty do zablokowania.
Skopiuj lub pobierz robots.txt i umieść go w katalogu głównym strony, tak by był pod https://your-site/robots.txt.

Wyszukiwarki, wyszukiwanie AI i trenowanie AI

Boty dzielą się dziś na trzy rodzaje, a robots.txt może traktować każdy inaczej:

Wyszukiwarki (Googlebot, Bingbot) indeksują strony na potrzeby wyników wyszukiwania.
Wyszukiwanie AI i asystenci (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot) pobierają strony, aby odpowiadać na pytania, i zwykle je cytują oraz linkują.
Boty do trenowania AI (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot i inne) zbierają strony do trenowania modeli.

Zablokuj trenowanie AI zatrzymuje ostatnią grupę, a Ty zostajesz w wynikach wyszukiwania i odpowiedziach AI. Google-Extended i Applebot-Extended nie wpływają na wyszukiwarkę Google ani Apple; sterują tylko trenowaniem.

Błąd, który ukrywa stronę

Bot stosuje się tylko do najbardziej szczegółowej grupy, która go wymienia. Gdy GPTBot ma własną grupę, reguły pod User-agent: * przestają go dotyczyć. Jeśli więc chronisz /admin/ dla * i dodasz grupę dla innego bota, która pozwala na resztę strony, ten bot może czytać /admin/. Generator o tym ostrzega; powtórz linie w każdej grupie.

Najczęstsze pytania

Czy robots.txt usuwa stronę z Google?

Nie niezawodnie. Zatrzymuje crawlowanie, nie indeksowanie: zablokowana strona może i tak pojawić się w wynikach, jeśli linkują do niej inne strony. Aby ją wykluczyć, pozwól ją crawlować i dodaj <meta name="robots" content="noindex">, które zapisze Generator meta tagów.

Czy boty muszą go przestrzegać?

To dobrowolny standard (RFC 9309). Główne wyszukiwarki i firmy AI deklarują, że ich boty go przestrzegają; inne mogą nie. Nie używaj go do ukrywania niczego prywatnego: to publiczny plik, który wymienia ścieżki, których wolałbyś nie udostępniać botom.

Gdzie umieścić plik w Lobsite?

Umieść robots.txt na najwyższym poziomie wdrażanego folderu, obok index.html. Strony bez konta i tak nigdy nie są indeksowane: Lobsite serwuje je z X-Robots-Tag: noindex, dopóki nie zostaną zachowane na koncie.

Czy dodać mapę strony?

Tak. Linia Sitemap: to najprostszy sposób, by boty znalazły każdą stronę. Utwórz ją Generatorem mapy witryny XML.