Come si usa
- Scegli un punto di partenza: consenti tutto, blocca l'addestramento IA, blocca tutti i crawler IA o blocca tutto.
- Aggiungi la tua sitemap, le cartelle da tenere private e gli altri crawler da bloccare.
- Copia o scarica
robots.txte mettilo nella radice del tuo sito, così sarà ahttps://your-site/robots.txt.
Motori di ricerca, ricerca IA e addestramento IA
Oggi i crawler sono di tre tipi, e robots.txt può trattarli in modo diverso:
- I motori di ricerca (Googlebot, Bingbot) indicizzano le pagine per i risultati di ricerca.
- La ricerca IA e gli assistenti (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot) recuperano pagine per rispondere a domande, e di solito le citano e vi rimandano.
- I crawler per l'addestramento IA (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot e altri) raccolgono pagine per addestrare modelli.
Blocca l'addestramento IA tiene fuori l'ultimo gruppo mentre resti nei risultati di ricerca e nelle risposte IA. Google-Extended e Applebot-Extended non influiscono sulla ricerca di Google o Apple; controllano solo l'addestramento.
L'errore che nasconde un sito
Un crawler rispetta solo il gruppo più specifico che lo nomina. Appena GPTBot ha un gruppo tutto suo, le regole sotto User-agent: * non valgono più per lui. Quindi se tieni privato /admin/ per * e aggiungi per un altro crawler un gruppo che consente il resto del sito, quel crawler può leggere /admin/. Il generatore te lo segnala; ripeti le righe in ogni gruppo.
Domande frequenti
robots.txt tiene una pagina fuori da Google?
Non in modo affidabile. Ferma la scansione, non l'indicizzazione: una pagina bloccata può comparire comunque nei risultati se altri siti la linkano. Per tenere fuori una pagina, lasciala scansionare e aggiungi <meta name="robots" content="noindex">, che scrive il Generatore di meta tag.
I crawler devono rispettarlo?
È uno standard volontario (RFC 9309). I principali motori di ricerca e le aziende di IA dicono che i loro crawler lo rispettano; altri potrebbero non farlo. Non usarlo per nascondere nulla di privato: è un file pubblico che elenca proprio i percorsi che preferiresti non far scansionare.
Dove va il file su Lobsite?
Metti robots.txt nella radice della cartella che pubblichi, accanto a index.html. I siti senza account non vengono comunque mai indicizzati: Lobsite li serve con X-Robots-Tag: noindex finché non vengono tenuti in un account.
Devo aggiungere la mia sitemap?
Sì. La riga Sitemap: è il modo più semplice perché i crawler trovino ogni pagina. Creane una con il Generatore di sitemap XML.