Verificatore di crawlabilità GEO gratuito
Scopri se i motori IA possono davvero scansionare e renderizzare le tue pagine — prima che decidano di leggerti, fidarsi di te e citarti.
Cos’è la crawlabilità GEO?
L’ottimizzazione per i motori generativi (GEO) parte da una domanda: l’IA può anche solo raggiungere i tuoi contenuti? Bot come GPTBot, ClaudeBot e PerplexityBot devono recuperare e renderizzare una pagina prima che possa comparire in una risposta. Se sono bloccati o il contenuto si carica solo con JavaScript, sei invisibile.
Il verificatore di crawlabilità GEO testa le tue regole robots.txt, l’accesso dei bot IA, le risposte del server e se i tuoi contenuti chiave si renderizzano senza JavaScript. Ti dice, in modo chiaro, se i motori che alimentano le risposte IA possono leggere il tuo sito.
Come funziona
Incolla il tuo URL
Inserisci una pagina e simuliamo come i crawler IA la richiedono e la caricano.
Testiamo l’accesso dei bot
Controlliamo robots.txt, le regole degli user-agent IA, i codici di stato e i contenuti dipendenti dal JavaScript.
Ricevi il tuo elenco di azioni
Scopri cosa blocca i motori IA e come aprire loro i tuoi contenuti.
Domande frequenti
Quali crawler IA simula il verificatore?
Perché i motori IA potrebbero non scansionare il mio sito?
Il rendering JavaScript influisce sulla visibilità IA?
Bloccare i bot IA danneggia la mia visibilità?
Come verifico se GPTBot è bloccato sul mio sito?
Posso consentire alcuni bot IA e bloccarne altri?
Qual è la differenza tra crawlabilità e indicizzabilità?
Consentire i bot IA influisce sul carico del mio server?
Il mio CDN o WAF blocca i crawler IA?
Cos'è llms.txt e devo aggiungerlo?
Come si relaziona la crawlabilità GEO con la crawlabilità SEO?
Bloccare i crawler IA proteggerà i miei contenuti dall'uso nel training IA?
Guida completa alla crawlabilità GEO: i motori IA possono leggere il tuo sito?
L'ottimizzazione per i motori generativi (GEO) inizia al livello più fondamentale: l'IA riesce a vedere i tuoi contenuti? Prima che qualsiasi modello possa decidere di fidarsi, riassumere o citare le tue pagine, un crawler deve recuperarle e renderizzarle correttamente. I motori IA inviano bot specializzati — GPTBot per OpenAI, ClaudeBot per Anthropic, PerplexityBot per Perplexity, Google-Extended per Gemini. Se il tuo server o robots.txt li respinge, quel motore non può includere i tuoi contenuti nelle sue risposte.
La maggior parte dei siti web è stata configurata per i crawler dei motori di ricerca, non per i bot IA. Un file robots.txt modificato l'ultima volta nel 2019 quasi certamente non tiene conto di GPTBot (introdotto nel 2023) o ClaudeBot. Senza una direttiva Allow esplicita, alcune configurazioni del server bloccano per default gli agenti sconosciuti. Il risultato è silenzioso.
Il contenuto renderizzato in JavaScript è una seconda barriera importante per la crawlabilità GEO. Molti framework moderni (React, Vue, Angular) consegnano uno scheletro HTML quasi vuoto e caricano il contenuto effettivo lato client dopo l'esecuzione di JavaScript. Molti bot IA non eseguono JavaScript, quindi questo contenuto è invisibile per loro.
Le catene di reindirizzamento, i soft 404 e i muri di accesso completano i fallimenti più comuni di crawlabilità GEO. Una catena di tre o più reindirizzamenti prima di raggiungere la pagina finale può portare un crawler ad abbandonare prima di recuperare qualsiasi contenuto.
Playbook di correzione della crawlabilità GEO
Otto passaggi mirati per garantire che ogni motore IA possa raggiungere e leggere le tue pagine.
Controllare robots.txt per gli user-agent IA
Apri il tuo robots.txt e cerca GPTBot, ClaudeBot, PerplexityBot e Google-Extended. Se questi agenti sono esplicitamente bloccati o assenti da una regola Allow su un sito con wildcard bloccato, i motori IA non possono crawlarti.
Testare le risposte del server con gli header user-agent IA
Usa curl o uno strumento simile per richiedere le tue pagine con ogni stringa user-agent IA. Cerca 403, 429 o cicli di reindirizzamento che appaiono solo per agenti specifici.
Identificare i blocchi di contenuto solo JavaScript
Disabilita JavaScript nel tuo browser e visita ogni pagina chiave. Qualsiasi contenuto che scompare è invisibile per i crawler IA che non eseguono JS. Dai priorità allo spostamento di questo contenuto in HTML renderizzato lato server.
Aggiungere o aggiornare il file llms.txt
llms.txt è uno standard emergente che segnala ai crawler IA quali pagine sono autorevoli e contengono il contenuto più prezioso. Posizionalo alla radice del tuo sito (/llms.txt).
Controllare le catene di reindirizzamento sulle pagine importanti
Usa un controllore di reindirizzamenti per tracciare la catena completa dei tuoi URL più importanti. Qualsiasi catena più lunga di due hop deve essere ridotta a un singolo reindirizzamento diretto.
Assicurarsi che le pagine chiave restituiscano 200 OK
Esegui un crawl completo e segnala qualsiasi pagina che restituisce un codice di stato non-200 o che restituisce 200 ma non consegna contenuto significativo.
Testare con più user-agent IA
Non presumere che consentire GPTBot sia sufficiente. Testa GPTBot, ClaudeBot, PerplexityBot, Google-Extended e Applebot-Extended individualmente.
Monitorare la crawlabilità con un verificatore GEO
La crawlabilità GEO non è una proprietà statica — cambia quando aggiorni robots.txt o distribuisci nuovi cambiamenti di framework. Esegui un controllo dopo ogni importante deployment tecnico.
Glossario di crawlabilità GEO
Definizioni in linguaggio semplice di ogni termine tecnico relativo all'accessibilità dei motori IA.
- GPTBot
- Web crawler di OpenAI per ChatGPT. Identificato dalla stringa user-agent "GPTBot". Può essere consentito o bloccato in robots.txt.
- ClaudeBot
- Web crawler di Anthropic per i modelli Claude. Deve essere esplicitamente consentito in robots.txt per permettere ad Anthropic di crawlare il tuo sito.
- PerplexityBot
- Web crawler di Perplexity AI per la ricerca web in tempo reale. Particolarmente importante per la visibilità IA in tempo reale.
- Google-Extended
- Meccanismo di opt-out di Google per il training IA. Impedisce a Google di usare i tuoi contenuti per addestrare Gemini e Bard, pur consentendo a Googlebot di indicizzare per la ricerca.
- GEO (Generative Engine Optimization)
- Pratica di rendere i contenuti accessibili, analizzabili e affidabili per i motori IA generativi. Estende il SEO tradizionale con focus sull'accesso dei crawler IA.
- robots.txt
- File di testo alla radice di un dominio che indica ai crawler a quali pagine o percorsi possono o non possono accedere.
- User-Agent
- Stringa inviata negli header delle richieste HTTP che identifica il browser, bot o crawler. I server la usano per distinguere Googlebot, GPTBot, browser umani e altri agenti.
- Rendering JavaScript
- Processo di esecuzione di JavaScript su una pagina per generare il suo HTML finale. Il contenuto renderizzato in JS può essere parzialmente o totalmente invisibile per i crawler IA.
- Server-Side Rendering (SSR)
- Architettura web in cui l'HTML completo di una pagina viene generato sul server prima della consegna al browser. Il contenuto SSR è immediatamente leggibile da qualsiasi crawler.
- llms.txt
- File standard emergente (posizionato a /llms.txt) che fornisce ai modelli di linguaggio IA orientamenti strutturati sul contenuto di un sito.
- Crawl budget
- Numero di pagine che un crawler recupererà da un sito in un dato periodo. Il budget sprecato su catene di reindirizzamento e soft 404 riduce la quantità di contenuto prezioso indicizzato.
- Direttiva Disallow
- Istruzione robots.txt che vieta a un user-agent nominato di accedere a un percorso specificato. Esempio: "User-agent: GPTBot / Disallow: /" blocca GPTBot sull'intero sito.
Chi ha bisogno di un Verificatore di Crawlabilità GEO
Siti e scenari dove i fallimenti di crawlabilità IA sono più probabili e costosi.
Siti SPA e React/Next.js
Le applicazioni a pagina singola che si affidano al rendering JavaScript lato client hanno il rischio più alto di contenuto invisibile per i crawler IA.
Grandi aziende con robots.txt complesso
I grandi siti aziendali hanno spesso file robots.txt mantenuti da più team nel corso degli anni, con conseguenti regole contraddittorie e blocchi involontari.
Editori che controllano il training IA
Gli editori che vogliono controllare se i loro contenuti vengono utilizzati per il training IA devono sapere esattamente quali bot li crawlano.
E-commerce con prodotti caricati in JS
Le pagine di dettaglio prodotto che caricano prezzi, disponibilità e descrizioni tramite JavaScript sono comuni nell'e-commerce. Se questi elementi sono invisibili ai crawler IA, i prodotti non possono apparire nelle risposte di acquisto IA.
Agenzie che verificano siti clienti
Le agenzie che lanciano o migrano siti clienti devono verificare la crawlabilità GEO come parte del QA pre-lancio.
Nuovi siti che stabiliscono la politica IA
Le organizzazioni che costruiscono nuovi siti hanno l'opportunità di impostare la loro politica di accesso IA fin dal primo giorno.
Controlla tutto il sito, non un solo file
Questo strumento gratuito controlla un solo aspetto. L’audit Site Health di Rankfender esegue circa 60 controlli SEO + GEO + AEO sulle tue pagine, li riassume in un punteggio e trasforma ogni problema in un’attività.