Crawler IA: cosa consentire nel robots.txt per GPTBot, ClaudeBot e PerplexityBot
Aggiornato: 4 agosto 2026
Se il tuo robots.txt blocca i crawler IA, i tuoi contenuti non raggiungono mai i modelli e sei invisibile nelle loro risposte. Per farti vedere, consenti esplicitamente i principali: GPTBot e OAI-SearchBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot e Google-Extended. Sono poche righe con effetto immediato.
Quale bot fa cosa
Non fanno tutti lo stesso lavoro, e la distinzione conta quando decidi cosa consentire:
- GPTBot — raccoglie contenuti per l'addestramento dei modelli di OpenAI.
- OAI-SearchBot — alimenta la ricerca in tempo reale di ChatGPT (è ciò che incide su quello che l'utente vede oggi).
- ChatGPT-User — interviene quando un utente chiede esplicitamente a ChatGPT di aprire la tua pagina.
- ClaudeBot — l'equivalente di Anthropic per Claude.
- PerplexityBot — per il motore di risposte di Perplexity.
- Google-Extended — non è un crawler; è un interruttore che controlla se i tuoi contenuti vengono usati nei prodotti IA di Google.
Il problema che non vedi
Molti siti bloccano questi bot senza saperlo: per l'impostazione predefinita di un plugin di sicurezza, una configurazione del CDN, o un robots.txt copiato da internet.
Il risultato è silenzioso — nessun errore, semplicemente non compari mai nelle risposte. Vale la pena verificarlo prima di ogni altra cosa.
Esempio di robots.txt che consente l'IA
La logica è semplice: un gruppo per bot con permesso esplicito. Per l'essenziale:
- User-agent: GPTBot / Allow: /
- User-agent: OAI-SearchBot / Allow: /
- User-agent: ChatGPT-User / Allow: /
- User-agent: ClaudeBot / Allow: /
- User-agent: PerplexityBot / Allow: /
- User-agent: Google-Extended / Allow: /
- E non dimenticare la riga Sitemap: con l'URL completo della tua sitemap.
Devo consentirli tutti?
È una decisione commerciale, non tecnica. Se vivi del fatto che i clienti ti trovino, la risposta è quasi sempre sì — bloccare i bot ti rende invisibile proprio dove la ricerca si sta spostando.
Se hai contenuti a pagamento o un archivio che non vuoi sia usato per l'addestramento, puoi consentire i bot di ricerca (OAI-SearchBot, PerplexityBot) e limitare quelli di addestramento. È un compromesso legittimo.
Cosa verificare ora
- Apri il tuo sito aggiungendo /robots.txt alla fine e leggi cosa c'è.
- Cerca eventuali Disallow relativi agli user-agent sopra.
- Assicurati che ci sia una riga Sitemap.
- Controlla anche CDN o firewall — possono bloccare i bot prima ancora del robots.txt.
Domande frequenti
Se consento i bot, «rubano» i miei contenuti?
Li usano per produrre risposte, spesso citando la fonte. La domanda pratica è: preferisci essere citato tu o il tuo concorrente? Per la maggior parte delle attività la visibilità vale di più.
Il robots.txt è vincolante?
È una convenzione che i grandi fornitori rispettano. Non è una barriera tecnica — per un blocco reale servono regole a livello di server o CDN.
Quanto tempo serve perché si veda il cambiamento?
Sbloccare è un presupposto, non una garanzia. I bot devono ripassare e i modelli aggiornarsi — considera settimane o mesi.
Scopri dove sei nell'IA — gratis
Il micro-audit gratuito ti mostra in 2 minuti se ChatGPT ti nomina per le tue parole chiave.
Avvia il check gratuito →