STRUMENTO GRATUITO

I crawler IA possono entrare nel tuo sito?

Verifica con un clic se GPTBot, ClaudeBot, Google-Extended e altri crawler IA possono leggere le tue pagine — o se il tuo robots.txt li sta bloccando in silenzio.

Cos’è un crawler IA?

I crawler IA sono bot gestiti da aziende come OpenAI, Anthropic e Google per leggere pagine pubbliche e alimentare i loro modelli e motori di risposta. Se possono leggere il tuo sito, il tuo brand può comparire in ChatGPT, Claude, Perplexity e nelle AI Overviews.

Il tuo file robots.txt — un file di testo alla radice del dominio — indica a questi bot a cosa possono accedere. Una sola riga Disallow può rimuoverti silenziosamente dalle risposte IA.

Come funziona

Inserisci il dominio

Digita l’indirizzo del sito. Recuperiamo il tuo file pubblico /robots.txt.

Analizziamo le regole

Confrontiamo ogni grande crawler IA con le tue regole User-agent e Disallow.

Scopri chi è bloccato

Ottieni uno stato chiaro consentito / bloccato per ogni crawler IA in pochi secondi.

Come robots.txt controlla i crawler IA nel 2026

Il tuo file robots.txt è un file di testo semplice posto alla radice del tuo dominio che indica ai bot automatizzati quali parti del tuo sito possono e non possono recuperare. Per due decenni ha governato gli spider dei motori di ricerca come Googlebot. Oggi ha un secondo compito, altrettanto importante: decidere quali crawler IA — i bot che alimentano ChatGPT, Perplexity, Claude e le risposte generative di Google — possono leggere i tuoi contenuti.

I fornitori di IA usano user-agent distinti per scopi distinti. OpenAI usa GPTBot per raccogliere dati di addestramento, OAI-SearchBot per alimentare le risposte di ricerca in tempo reale in ChatGPT e ChatGPT-User per i recuperi su richiesta quando un utente chiede a ChatGPT di aprire un link. Anthropic gestisce ClaudeBot e il più vecchio anthropic-ai. Perplexity usa PerplexityBot. Google usa Google-Extended come token di esclusione per l’addestramento di Gemini, distinto dal crawler di ricerca Googlebot. Il CCBot di Common Crawl alimenta molti modelli a valle, e Bytespider (ByteDance), Amazonbot e Applebot-Extended completano l’elenco.

Il punto chiave è che questi bot fanno cose diverse, quindi un blocco generalizzato è raramente la mossa giusta. Bloccare un crawler di addestramento protegge i tuoi contenuti dall’essere assorbiti in un modello, ma bloccare un bot di recupero in tempo reale come OAI-SearchBot o PerplexityBot può rimuoverti in silenzio dalle risposte IA che vedono i tuoi acquirenti — l’equivalente IA di deindicizzarsi da Google. La maggior parte dei brand vuole il contrario: massima visibilità nelle risposte IA, con un controllo selettivo dello scraping di massa.

robots.txt è una direttiva, non un muro invalicabile. I crawler affidabili di OpenAI, Anthropic, Perplexity e Google lo rispettano, ma dipende dalla scelta del bot di obbedire. È il modo standard e senza attriti per esprimere le tue preferenze, e abbinarlo a un file llms.txt offre ai sistemi IA ben educati una mappa chiara dei contenuti che desideri maggiormente vedere usati.

Come controllare i crawler IA con robots.txt

Una sequenza pratica per verificare cosa consenti oggi, aprire le porte che fanno crescere la tua visibilità IA e chiudere quelle che non vuoi — senza nasconderti per sbaglio da ChatGPT e Perplexity.

Verifica le tue regole attuali

Passa il tuo dominio in questo verificatore per vedere quali user-agent IA consenti, blocchi o blocchi parzialmente oggi. Molti siti bloccano GPTBot o PerplexityBot senza saperlo, a causa di una regola copiata e incollata o di un’impostazione predefinita di un plugin di sicurezza.

Definisci la tua strategia consenti/blocca

Separa i bot di recupero in tempo reale (OAI-SearchBot, ChatGPT-User, PerplexityBot) dai bot di addestramento (GPTBot, Google-Extended, CCBot, ClaudeBot). La maggior parte dei brand consente i bot di recupero per la visibilità e fa una scelta deliberata su quelli di addestramento.

Consenti i crawler IA che contano

Per comparire nelle risposte di ChatGPT e Perplexity, consenti esplicitamente OAI-SearchBot, ChatGPT-User e PerplexityBot. Se vuoi che i tuoi contenuti siano usati anche per l’addestramento, consenti anche GPTBot e ClaudeBot.

Blocca gli scraper che non vuoi

Se ti preoccupano la banda, lo scraping di massa o il riuso senza attribuzione, aggiungi regole Disallow per crawler aggressivi come Bytespider, CCBot o Amazonbot, lasciando consentiti i bot dei motori di risposta.

Scrivi una sintassi corretta e specifica

Usa un blocco User-agent per ogni bot, nomina il user-agent in modo identico e metti Allow: / o Disallow: / sotto di esso. Una regola finale troppo ampia può bloccare molto più del previsto: mantieni ogni direttiva ben circoscritta.

Testa prima e dopo la pubblicazione

Riesegui questo verificatore dopo aver modificato robots.txt per confermare che ogni bot venga letto come previsto. Verifica che il file restituisca HTTP 200 su /robots.txt e non sia bloccato da un firewall, una CDN o una regola WAF.

Aggiungi un llms.txt per guidare i bot corretti

Pubblica un llms.txt che elenchi le tue pagine e la documentazione più importanti. Completa robots.txt indirizzando i sistemi IA ben educati verso i contenuti che desideri maggiormente vedere citati.

Monitora l’attività dei crawler nel tempo

I fornitori di IA aggiungono e rinominano regolarmente gli user-agent. Ricontrolla ogni trimestre, sorveglia i log del server per nuovi bot IA e conferma che un aggiornamento della CDN o un nuovo plugin non abbia modificato in silenzio le tue regole.

Glossario dei crawler IA e di robots.txt

Il vocabolario per controllare i bot IA, in parole semplici.

robots.txt: Un file di testo semplice alla radice del tuo dominio (tuosito.com/robots.txt) che indica ai crawler quali percorsi possono e non possono recuperare. Il modo standard per esprimere le preferenze di scansione ai bot di ricerca e IA.
User-agent: L’identificatore che un bot invia per annunciare chi è. In robots.txt, ogni riga User-agent nomina il bot a cui si applica un blocco di regole, come GPTBot o PerplexityBot.
Disallow: Una direttiva che chiede a un user-agent nominato di non recuperare il percorso indicato. Disallow: / blocca l’intero sito per quel bot; Disallow: /private/ blocca solo quella cartella.
Allow: Una direttiva che consente esplicitamente un percorso, usata per creare eccezioni all’interno di un Disallow più ampio o per concedere chiaramente l’accesso a un bot specifico.
Crawl-delay: Una direttiva facoltativa che richiede un numero minimo di secondi tra le richieste di un bot, per limitare il carico del server. Rispettata da alcuni crawler ma non da tutti i bot IA.
GPTBot: Il crawler di OpenAI che raccoglie contenuti web usati per addestrare i suoi modelli. Bloccare GPTBot esclude i tuoi contenuti dall’addestramento ma non ti rimuove, da solo, dalle risposte di ricerca in tempo reale di ChatGPT.
Google-Extended: Un token robots.txt che Google usa per permetterti di escludere i tuoi contenuti dall’addestramento e dal grounding di Gemini, distinto dal crawler Googlebot che alimenta la Ricerca. Bloccarlo non incide sul tuo posizionamento in Google Search.
llms.txt: Un file di testo proposto che elenca le tue pagine e la documentazione chiave in una forma pulita e leggibile dalle macchine, così che i sistemi IA trovino i tuoi contenuti più importanti. Completa robots.txt anziché sostituirlo.
Crawler IA: Un bot gestito da un fornitore di IA per recuperare pagine web a scopo di addestramento, recupero in tempo reale o navigazione su richiesta. Esempi: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e CCBot.
Bot di recupero in tempo reale: Un crawler IA che recupera le pagine al momento della risposta per fondare la risposta, come OAI-SearchBot, ChatGPT-User e PerplexityBot. Bloccarli può rimuoverti dalle risposte IA.
Crawler di addestramento: Un bot che raccoglie contenuti per addestrare un modello anziché per rispondere a una query in tempo reale, come GPTBot, Google-Extended, CCBot e Bytespider.

Chi usa il verificatore Robots.txt

Se gli acquirenti ti cercano tramite assistenti IA, il tuo robots.txt ora decide se possono leggerti.

Editori e media

Decidi deliberatamente se consentire crawler di addestramento come GPTBot e CCBot, mantenendo consentiti i bot dei motori di risposta come OAI-SearchBot e PerplexityBot affinché i tuoi contenuti continuino a essere citati.

SaaS e software

Conferma che ChatGPT e Perplexity possano leggere la tua documentazione e le pagine delle funzionalità, così che quando gli acquirenti chiedono all’IA il miglior strumento della tua categoria, il tuo sito sia disponibile per essere citato.

E-commerce e DTC

Assicurati che le pagine di prodotto e categoria siano scansionabili dalle risposte di acquisto IA e limita selettivamente gli scraper aggressivi che gravano sui tuoi server senza inviare traffico.

Agenzie e consulenti

Verifica il robots.txt di un cliente in pochi secondi, individua blocchi accidentali di GPTBot o PerplexityBot e trasforma la correzione in una vittoria di visibilità IA chiara e misurabile.

Domande frequenti

Cos’è GPTBot?

GPTBot è il crawler web di OpenAI. Legge pagine pubbliche per addestrare e alimentare i suoi modelli. Bloccarlo nel robots.txt impedisce a OpenAI di usare i tuoi contenuti.

Dovrei consentire i crawler IA?

Per la maggior parte dei brand, sì. Consentirli fa apparire i tuoi contenuti nelle risposte di ChatGPT, Claude e Perplexity — una fonte di scoperta in forte crescita.

Bloccare il robots.txt mi toglie da ChatGPT?

Bloccare ChatGPT-User e GPTBot ferma il crawling e il recupero in tempo reale, riducendo le citazioni. Non cancella ciò che è già stato appreso, ma limita la tua visibilità futura.

Cos’è Google-Extended?

Google-Extended è un token robots.txt che controlla se Google può usare i tuoi contenuti per Gemini e le funzioni IA, separatamente dall’indicizzazione normale di Google Search.

In cosa è diverso da Rankfender?

Questo strumento verifica l’accesso. Rankfender va oltre: misura se i motori IA citano davvero il tuo brand e mostra come conquistare quelle citazioni.

Dovrei bloccare i crawler IA?

Per la maggior parte dei brand, no — almeno non i bot di recupero in tempo reale. Bloccare OAI-SearchBot, ChatGPT-User o PerplexityBot può rimuoverti dalle risposte che gli acquirenti vedono in ChatGPT e Perplexity. La scelta più sfumata riguarda i crawler di addestramento come GPTBot, Google-Extended e CCBot: bloccali se non vuoi che i tuoi contenuti vengano assorbiti nei modelli, ma sappi che bloccare tutto sacrifica la tua visibilità IA per proteggere contenuti che forse vuoi comunque far scoprire.

Bloccare GPTBot mi rimuove da ChatGPT?

Non direttamente. GPTBot è il crawler di addestramento di OpenAI, non il bot che recupera le pagine per le risposte in tempo reale. Le risposte di ricerca di ChatGPT sono alimentate da OAI-SearchBot, e l’apertura dei link su richiesta da ChatGPT-User. Se vuoi restare fuori dall’addestramento ma rimanere visibile nelle risposte di ChatGPT, blocca GPTBot e consenti OAI-SearchBot e ChatGPT-User.

Che cos’è Google-Extended?

Google-Extended è un token user-agent di robots.txt che ti permette di escludere i tuoi contenuti dall’addestramento e dal grounding dei modelli Gemini di Google. È distinto da Googlebot. Bloccare Google-Extended non incide sul tuo posizionamento in Google Search né sulla tua presenza nella ricerca normale — regola solo l’addestramento e il grounding dell’IA generativa.

Consentire i bot IA fa male alla SEO?

No. Consentire i crawler IA non danneggia il tuo posizionamento classico su Google; Googlebot e i token di addestramento IA come Google-Extended sono regolati separatamente. Consentire i bot dei motori di risposta ti aiuta anzi a comparire in ChatGPT e Perplexity, che è sempre più parte del modo in cui gli acquirenti scoprono i brand. Non c’è alcuna penalizzazione SEO nel lasciare che i crawler IA leggano i tuoi contenuti pubblici.

Come blocco un crawler IA in robots.txt?

Aggiungi un blocco che nomina il user-agent, seguito da una regola Disallow. Per esempio: User-agent: GPTBot e poi Disallow: / blocca GPTBot sull’intero sito. Ripeti un blocco per ogni bot che vuoi limitare. Dopo la modifica, riesegui questo verificatore e conferma che /robots.txt restituisca HTTP 200 affinché la regola venga effettivamente servita.

Qual è la differenza tra robots.txt e llms.txt?

robots.txt controlla quali bot possono recuperare quali percorsi — è uno strato di permessi. llms.txt è un file proposto che elenca le tue pagine e la documentazione più importanti affinché i sistemi IA trovino rapidamente i tuoi contenuti migliori. Lavorano insieme: robots.txt definisce l’accesso, llms.txt indirizza l’IA ben educata verso ciò che desideri maggiormente vedere citato.

I crawler IA rispetteranno il mio robots.txt?

I crawler affidabili di OpenAI, Anthropic, Perplexity e Google si impegnano pubblicamente a rispettare robots.txt. È una direttiva, non un blocco assoluto, quindi uno scraper malevolo può ignorarlo — ma i grandi fornitori di IA che alimentano le risposte di ChatGPT, Claude, Perplexity e Gemini lo rispettano, il che rende robots.txt il punto di controllo pratico per la visibilità IA.

Ogni quanto dovrei controllare il mio robots.txt per i bot IA?

Almeno ogni trimestre, e dopo qualsiasi cambiamento di CDN, plugin di sicurezza o piattaforma. I fornitori di IA aggiungono o rinominano regolarmente gli user-agent — Applebot-Extended e OAI-SearchBot sono esempi recenti — perciò un file corretto l’anno scorso può ora ignorare nuovi bot o portare un blocco obsoleto. Rieseguire questo verificatore richiede pochi secondi e individua le modifiche silenziose.

Consentito non significa citato

L’accesso è solo il primo passo. Scopri se i motori IA raccomandano davvero il tuo brand — e come ottenerlo.

Ottieni il mio punteggio RAIVE gratis