Gratis GEO-crawlbaarheidschecker
Ontdek of AI-engines je pagina’s daadwerkelijk kunnen crawlen en renderen — voordat ze besluiten je te lezen, vertrouwen en citeren.
Wat is GEO-crawlbaarheid?
Generative engine-optimalisatie (GEO) begint met één vraag: kan de AI je content überhaupt bereiken? Bots als GPTBot, ClaudeBot en PerplexityBot moeten een pagina ophalen en renderen voordat deze in een antwoord kan verschijnen. Zijn ze geblokkeerd of laadt de content alleen via JavaScript, dan ben je onzichtbaar.
De GEO-crawlbaarheidschecker test je robots.txt-regels, de toegang van AI-bots, de serverreacties en of je belangrijkste content rendert zonder JavaScript. Hij vertelt je in heldere taal of de engines achter AI-antwoorden je site überhaupt kunnen lezen.
Hoe het gaat werken
Plak je URL
Voer een pagina in en wij simuleren hoe AI-crawlers deze opvragen en laden.
Wij testen bot-toegang
We controleren robots.txt, AI-user-agentregels, statuscodes en JavaScript-afhankelijke content.
Ontvang je actielijst
Zie precies wat AI-engines blokkeert en hoe je je content voor ze openzet.
Veelgestelde vragen
Welke AI-crawlers simuleert de checker?
Waarom zouden AI-engines mijn site niet kunnen crawlen?
Beïnvloedt JavaScript-rendering de AI-zichtbaarheid?
Schaadt het blokkeren van AI-bots mijn zichtbaarheid?
Hoe controleer ik of GPTBot op mijn site is geblokkeerd?
Kan ik sommige AI-bots toestaan en andere blokkeren?
Wat is het verschil tussen crawlbaarheid en indexeerbaarheid?
Beïnvloedt het toestaan van AI-bots mijn serverbelasting?
Blokkeert mijn CDN of WAF AI-crawlers?
Wat is llms.txt en moet ik het toevoegen?
Hoe houdt GEO-crawlbaarheid verband met SEO-crawlbaarheid?
Beschermt het blokkeren van AI-crawlers mijn content tegen AI-training?
De complete gids voor GEO-crawlbaarheid: kunnen AI-motoren uw site lezen?
Generative Engine Optimization (GEO) begint op het meest fundamentele niveau: kan de AI uw content überhaupt zien? Voordat een model kan beslissen om uw pagina's te vertrouwen, samen te vatten of te citeren, moet een crawler ze succesvol ophalen en renderen. AI-motoren sturen gespecialiseerde bots — GPTBot voor OpenAI, ClaudeBot voor Anthropic, PerplexityBot voor Perplexity, Google-Extended voor Gemini. Als uw server of robots.txt ze afwijst, kan die motor uw content niet in zijn antwoorden opnemen.
De meeste websites zijn geconfigureerd voor zoekmachinecrawlers, niet voor AI-bots. Een robots.txt die voor het laatst in 2019 is bewerkt, houdt bijna zeker geen rekening met GPTBot (geïntroduceerd in 2023) of ClaudeBot. Zonder een expliciete Allow-richtlijn blokkeren sommige serverconfiguraties standaard onbekende agents. Het resultaat is stil.
JavaScript-gerenderde content is een tweede grote GEO-crawlbaarheidsbarrière. Veel moderne frameworks (React, Vue, Angular) leveren een bijna leeg HTML-skelet en laden de werkelijke content client-side na JavaScript-uitvoering. Veel AI-bots voeren geen JavaScript uit, waardoor deze content voor hen onzichtbaar is.
Omleidingsketens, soft 404's en loginmuren vormen de meest voorkomende GEO-crawlbaarheidsproblemen. Een keten van drie of meer omleidingen voor het bereiken van de eindpagina kan een crawler ertoe aanzetten op te geven.
GEO-crawlbaarheid Fix Playbook
Acht gerichte stappen om ervoor te zorgen dat elke grote AI-motor uw pagina's kan bereiken en lezen.
robots.txt controleren op AI-user-agents
Open uw robots.txt en zoek naar GPTBot, ClaudeBot, PerplexityBot en Google-Extended. Als deze agents expliciet zijn geblokkeerd of afwezig zijn uit een Allow-regel op een site met geblokkeerde wildcard, kunnen AI-motoren u niet crawlen.
Serverreacties testen met AI-user-agent-headers
Gebruik curl of een vergelijkbaar hulpmiddel om uw pagina's op te vragen met elke AI-user-agent-string. Zoek naar 403, 429 of omleidingslussen die alleen voor specifieke agents verschijnen.
Alleen-JavaScript-inhoudsblokken identificeren
Schakel JavaScript uit in uw browser en bezoek elke sleutelpagina. Alle content die verdwijnt, is onzichtbaar voor AI-crawlers die geen JS uitvoeren. Prioriteer het verplaatsen van deze content naar server-gerenderde HTML.
llms.txt-bestand toevoegen of bijwerken
llms.txt is een opkomende standaard die AI-crawlers signaleert welke pagina's gezaghebbend zijn en de meest waardevolle content bevatten. Plaats het in de root van uw site (/llms.txt).
Omleidingsketens op belangrijke pagina's controleren
Gebruik een omleidingscontrole om de volledige keten voor uw belangrijkste URL's te traceren. Elke keten langer dan twee hops moet worden samengevat tot een enkele directe omleiding.
Ervoor zorgen dat sleutelpagina's 200 OK teruggeven
Voer een volledige crawl uit en markeer pagina's die een niet-200-statuscode teruggeven of die 200 teruggeven maar geen betekenisvolle content leveren.
Testen met meerdere AI-user-agents
Ga er niet van uit dat het toestaan van GPTBot voldoende is. Test GPTBot, ClaudeBot, PerplexityBot, Google-Extended en Applebot-Extended afzonderlijk.
Crawlbaarheid bewaken met een GEO-controle
GEO-crawlbaarheid is geen statische eigenschap — het verandert wanneer u robots.txt bijwerkt of nieuwe frameworkwijzigingen implementeert. Voer na elke significante technische deployment een controle uit.
GEO-crawlbaarheids-woordenlijst
Begrijpelijke definities van elke technische term in AI-motor-toegankelijkheid.
- GPTBot
- Webcrawler van OpenAI voor ChatGPT. Geïdentificeerd door de user-agent-string "GPTBot". Kan worden toegestaan of geblokkeerd in robots.txt.
- ClaudeBot
- Webcrawler van Anthropic voor Claude-modellen. Moet expliciet worden toegestaan in robots.txt om Anthropic te laten crawlen.
- PerplexityBot
- Webcrawler van Perplexity AI voor real-time webzoeken. Bijzonder belangrijk voor real-time AI-zichtbaarheid.
- Google-Extended
- Google's opt-out-mechanisme voor AI-training. Voorkomt dat Google uw content gebruikt voor het trainen van Gemini en Bard, terwijl Googlebot nog steeds mag indexeren voor zoeken.
- GEO (Generative Engine Optimization)
- Praktijk om content toegankelijk, parseerbaar en betrouwbaar te maken voor AI-gestuurde generatieve motoren. Breidt traditionele SEO uit met focus op AI-crawlertoegang.
- robots.txt
- Tekstbestand in de domeinroot dat crawlers vertelt welke pagina's of paden ze mogen of niet mogen benaderen.
- User-Agent
- String in HTTP-requestheaders die de browser, bot of crawler identificeert. Servers gebruiken het om Googlebot, GPTBot, menselijke browsers en andere agents te onderscheiden.
- JavaScript-rendering
- Proces van JavaScript-uitvoering op een pagina om de definitieve HTML te genereren. JS-gerenderde content kan onzichtbaar zijn voor AI-crawlers die geen JavaScript uitvoeren.
- Server-Side Rendering (SSR)
- Webarchitectuur waarbij de volledige HTML van een pagina op de server wordt gegenereerd vóór levering aan de browser. SSR-content is direct leesbaar door elke crawler.
- llms.txt
- Opkomend standaardbestand (op /llms.txt) dat AI-taalmodellen gestructureerde begeleiding geeft over de siteinhoud.
- Crawlbudget
- Aantal pagina's dat een crawler in een bepaalde periode van een site ophaalt. Verspild budget op omleidingsketens en soft 404's verkleint de hoeveelheid waardevolle geïndexeerde content.
- Disallow-richtlijn
- robots.txt-instructie die een benoemde user-agent verbiedt een opgegeven pad te benaderen. Voorbeeld: "User-agent: GPTBot / Disallow: /" blokkeert GPTBot voor de hele site.
Wie heeft een GEO-crawlbaarheidscontrole nodig
Sites en scenario's waar AI-crawlbaarheidsproblemen het meest waarschijnlijk en kostbaar zijn.
SPA- en React/Next.js-sites
Applicaties met één pagina die sterk afhankelijk zijn van JavaScript-rendering aan de clientzijde lopen het grootste risico op onzichtbare content voor AI-crawlers.
Ondernemingen met complexe robots.txt
Grote bedrijfssites hebben vaak robots.txt-bestanden die door meerdere teams over jaren zijn bijgehouden, met tegenstrijdige regels en onbedoelde blokkades als gevolg.
Uitgevers die AI-training beheren
Uitgevers die willen controleren of hun content wordt gebruikt voor AI-training, moeten precies weten welke bots hen crawlen.
E-commerce met JS-geladen producten
Productdetailpagina's die prijzen, beschikbaarheid en beschrijvingen via JavaScript laden zijn gebruikelijk in e-commerce. Als die elementen onzichtbaar zijn voor AI-crawlers, kunnen producten niet in AI-winkelaanbevelingen verschijnen.
Bureaus die klantsites controleren
Bureaus die klantsites lanceren of migreren, moeten GEO-crawlbaarheid verifiëren als onderdeel van pre-launch QA.
Nieuwe sites die AI-beleid bepalen
Organisaties die nieuwe sites bouwen, hebben de mogelijkheid hun AI-toegangsbeleid vanaf dag één vast te stellen.