GRATIS TOOL

Mogen AI-crawlers op jouw site?

Controleer in één klik of GPTBot, ClaudeBot, Google-Extended en andere AI-crawlers je pagina’s mogen lezen — of dat je robots.txt ze stilletjes blokkeert.

Wat is een AI-crawler?

AI-crawlers zijn bots van bedrijven als OpenAI, Anthropic en Google die openbare pagina’s lezen om hun modellen en antwoordmachines te voeden. Kunnen ze je site lezen, dan kan je merk verschijnen in ChatGPT, Claude, Perplexity en AI Overviews.

Je robots.txt-bestand — een tekstbestand in de root van je domein — vertelt deze bots waar ze bij mogen. Eén enkele Disallow-regel kan je stilletjes uit AI-antwoorden halen.

Hoe het werkt

Vul je domein in

Typ je webadres. Wij halen je openbare /robots.txt-bestand op.

Wij lezen de regels

We vergelijken elke grote AI-crawler met je User-agent- en Disallow-regels.

Zie wie geblokkeerd is

Krijg in seconden een duidelijke status toegestaan / geblokkeerd voor elke AI-crawler.

Hoe robots.txt AI-crawlers aanstuurt in 2026

Je robots.txt-bestand is een platte tekstbestand in de root van je domein dat geautomatiseerde bots vertelt welke delen van je site ze wel en niet mogen ophalen. Twee decennia lang stuurde het zoekmachinespiders zoals Googlebot aan. Vandaag heeft het een tweede, even belangrijke taak: bepalen welke AI-crawlers — de bots die ChatGPT, Perplexity, Claude en de generatieve antwoorden van Google voeden — je inhoud mogen lezen.

AI-aanbieders draaien afzonderlijke user-agents voor afzonderlijke doelen. OpenAI gebruikt GPTBot om trainingsdata te verzamelen, OAI-SearchBot om live zoekantwoorden in ChatGPT te voeden, en ChatGPT-User voor ophalen op aanvraag wanneer een gebruiker ChatGPT vraagt een link te openen. Anthropic draait ClaudeBot en het oudere anthropic-ai. Perplexity gebruikt PerplexityBot. Google gebruikt Google-Extended als opt-out-token voor het trainen van Gemini, los van zijn zoekcrawler Googlebot. De CCBot van Common Crawl voedt veel onderliggende modellen, en Bytespider (ByteDance), Amazonbot en Applebot-Extended maken de lijst compleet.

Het kerninzicht is dat deze bots verschillende dingen doen, dus een algeheel blok is zelden de juiste keuze. Een trainingscrawler blokkeren beschermt je inhoud tegen opname in een model, maar een live-retrieval-bot zoals OAI-SearchBot of PerplexityBot blokkeren kan je stilletjes verwijderen uit de AI-antwoorden die je kopers zien — het AI-equivalent van jezelf de-indexeren uit Google. De meeste merken willen het tegenovergestelde: maximale zichtbaarheid in AI-antwoorden, met selectieve controle over grootschalig scrapen.

robots.txt is een richtlijn, geen harde muur. Betrouwbare crawlers van OpenAI, Anthropic, Perplexity en Google houden zich eraan, maar het hangt af van de keuze van de bot om te gehoorzamen. Het is de standaard, wrijvingsloze manier om je voorkeuren uit te drukken, en het koppelen aan een llms.txt-bestand geeft welopgevoede AI-systemen een heldere kaart van de inhoud die je het liefst gebruikt ziet.

Hoe je AI-crawlers aanstuurt met robots.txt

Een praktische volgorde om te controleren wat je vandaag toestaat, de deuren te openen die je AI-zichtbaarheid vergroten en die te sluiten die je niet wilt — zonder je per ongeluk te verbergen voor ChatGPT en Perplexity.

Controleer je huidige regels

Laat je domein door deze checker lopen om te zien welke AI-user-agents je vandaag toestaat, blokkeert of gedeeltelijk blokkeert. Veel sites blokkeren GPTBot of PerplexityBot onbewust, door een gekopieerde regel of een standaardinstelling van een beveiligingsplugin.

Bepaal je toestaan-of-blokkeren-strategie

Scheid live-retrieval-bots (OAI-SearchBot, ChatGPT-User, PerplexityBot) van trainingsbots (GPTBot, Google-Extended, CCBot, ClaudeBot). De meeste merken staan retrieval-bots toe voor zichtbaarheid en maken een bewuste keuze over trainingsbots.

Sta de AI-crawlers toe die ertoe doen

Om in ChatGPT- en Perplexity-antwoorden te verschijnen, sta je OAI-SearchBot, ChatGPT-User en PerplexityBot expliciet toe. Als je wilt dat je inhoud ook voor training wordt gebruikt, sta dan ook GPTBot en ClaudeBot toe.

Blokkeer de scrapers die je niet wilt

Als bandbreedte, grootschalig scrapen of hergebruik zonder bronvermelding een zorg zijn, voeg dan Disallow-regels toe voor agressieve crawlers zoals Bytespider, CCBot of Amazonbot, terwijl je de antwoordmachine-bots toegestaan laat.

Schrijf correcte, specifieke syntaxis

Gebruik één User-agent-blok per bot, noem de user-agent woordelijk en plaats Allow: / of Disallow: / eronder. Een te brede slotregel kan veel meer blokkeren dan bedoeld, dus houd elke richtlijn nauw afgebakend.

Test voor en na het publiceren

Voer deze checker opnieuw uit nadat je robots.txt hebt bewerkt om te bevestigen dat elke bot wordt gelezen zoals je bedoelde. Controleer of het bestand HTTP 200 teruggeeft op /robots.txt en niet wordt geblokkeerd door een firewall, CDN of WAF-regel.

Voeg een llms.txt toe om goede bots te leiden

Publiceer een llms.txt die je belangrijkste pagina’s en documentatie opsomt. Het vult robots.txt aan door welopgevoede AI-systemen naar de inhoud te wijzen die je het liefst geciteerd ziet.

Monitor crawleractiviteit in de loop van de tijd

AI-aanbieders voegen regelmatig user-agents toe en hernoemen ze. Controleer elk kwartaal opnieuw, houd je serverlogs in de gaten op nieuwe AI-bots en bevestig dat een CDN-update of een nieuwe plugin je regels niet stil heeft gewijzigd.

Woordenlijst AI-crawlers en robots.txt

Het vocabulaire om AI-bots aan te sturen, in heldere taal.

robots.txt: Een platte tekstbestand in de root van je domein (jouwsite.com/robots.txt) dat crawlers vertelt welke paden ze wel en niet mogen ophalen. De standaardmanier om je crawlvoorkeuren aan zoek- en AI-bots kenbaar te maken.
User-agent: De identificatie die een bot stuurt om aan te kondigen wie hij is. In robots.txt benoemt elke User-agent-regel de bot waarop een regelblok van toepassing is, zoals GPTBot of PerplexityBot.
Disallow: Een richtlijn die een genoemde user-agent vraagt het opgegeven pad niet op te halen. Disallow: / blokkeert de hele site voor die bot; Disallow: /private/ blokkeert alleen die map.
Allow: Een richtlijn die een pad expliciet toestaat, gebruikt om uitzonderingen te maken binnen een bredere Disallow of om een specifieke bot duidelijk toegang te geven.
Crawl-delay: Een optionele richtlijn die een minimumaantal seconden tussen de verzoeken van een bot vraagt, om de serverbelasting te beperken. Door sommige crawlers nageleefd, maar niet door alle AI-bots.
GPTBot: De crawler van OpenAI die webinhoud verzamelt om zijn modellen te trainen. GPTBot blokkeren sluit je inhoud uit van training, maar verwijdert je niet vanzelf uit de live zoekantwoorden van ChatGPT.
Google-Extended: Een robots.txt-token dat Google gebruikt om je te laten weigeren dat je inhoud wordt gebruikt om Gemini te trainen en te onderbouwen, los van de Googlebot-crawler die de Zoeken voedt. Het blokkeren beïnvloedt je Google Search-ranking niet.
llms.txt: Een voorgesteld tekstbestand dat je belangrijkste pagina’s en documentatie in een nette, machineleesbare vorm opsomt, zodat AI-systemen je belangrijkste inhoud vinden. Het vult robots.txt aan in plaats van het te vervangen.
AI-crawler: Een bot die door een AI-aanbieder wordt ingezet om webpagina’s op te halen voor training, live-retrieval of browsen op aanvraag. Voorbeelden zijn GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot en CCBot.
Live-retrieval-bot: Een AI-crawler die pagina’s ophaalt op het moment van antwoorden om een antwoord te onderbouwen, zoals OAI-SearchBot, ChatGPT-User en PerplexityBot. Deze blokkeren kan je uit AI-antwoorden verwijderen.
Trainingscrawler: Een bot die inhoud verzamelt om een model te trainen in plaats van een live vraag te beantwoorden, zoals GPTBot, Google-Extended, CCBot en Bytespider.

Wie de Robots.txt-checker gebruikt

Als kopers je onderzoeken via AI-assistenten, bepaalt je robots.txt nu of ze je kunnen lezen.

Uitgevers en media

Bepaal bewust of je trainingscrawlers zoals GPTBot en CCBot toestaat, terwijl je antwoordmachine-bots zoals OAI-SearchBot en PerplexityBot toegestaan houdt zodat je berichtgeving geciteerd blijft.

SaaS en software

Bevestig dat ChatGPT en Perplexity je documentatie en functiepagina’s kunnen lezen, zodat je site beschikbaar is om geciteerd te worden wanneer kopers de AI om de beste tool in je categorie vragen.

E-commerce en DTC

Zorg dat product- en categoriepagina’s crawlbaar zijn voor AI-shopantwoorden en beperk selectief agressieve scrapers die je servers belasten zonder verkeer te sturen.

Bureaus en consultants

Controleer de robots.txt van een klant in seconden, spot per ongeluk geblokkeerde GPTBot of PerplexityBot en maak van de oplossing een heldere, meetbare AI-zichtbaarheidswinst.

Veelgestelde vragen

Wat is GPTBot?

GPTBot is de webcrawler van OpenAI. Hij leest openbare pagina’s om de modellen te trainen en te voeden. Blokkeer je hem in robots.txt, dan kan OpenAI je content niet gebruiken.

Moet ik AI-crawlers toestaan?

Voor de meeste merken: ja. Toestaan laat je content verschijnen in antwoorden van ChatGPT, Claude en Perplexity — een snelgroeiende bron van vindbaarheid.

Haalt blokkeren in robots.txt me uit ChatGPT?

ChatGPT-User en GPTBot blokkeren stopt het crawlen en live ophalen, waardoor je minder geciteerd wordt. Het wist niet wat al geleerd is, maar beperkt je toekomstige zichtbaarheid.

Wat is Google-Extended?

Google-Extended is een robots.txt-token dat bepaalt of Google je content mag gebruiken voor Gemini en AI-functies, los van de normale indexering van Google Zoeken.

Hoe verschilt dit van Rankfender?

Deze tool controleert de toegang. Rankfender gaat verder: het meet of AI-engines je merk echt noemen en laat zien hoe je die vermeldingen wint.

Moet ik AI-crawlers blokkeren?

Voor de meeste merken niet — althans niet de live-retrieval-bots. OAI-SearchBot, ChatGPT-User of PerplexityBot blokkeren kan je verwijderen uit de antwoorden die kopers zien in ChatGPT en Perplexity. De genuanceerde keuze gaat over trainingscrawlers zoals GPTBot, Google-Extended en CCBot: blokkeer die als je niet wilt dat je inhoud in modellen wordt opgenomen, maar besef dat alles blokkeren je AI-zichtbaarheid opoffert om inhoud te beschermen die je misschien toch ontdekt wilt zien.

Verwijdert het blokkeren van GPTBot mij uit ChatGPT?

Niet rechtstreeks. GPTBot is de trainingscrawler van OpenAI, niet de bot die pagina’s ophaalt voor live antwoorden. De zoekantwoorden van ChatGPT worden gevoed door OAI-SearchBot, en het openen van links op aanvraag door ChatGPT-User. Als je buiten de training wilt blijven maar zichtbaar wilt blijven in ChatGPT-antwoorden, blokkeer dan GPTBot en sta OAI-SearchBot en ChatGPT-User toe.

Wat is Google-Extended?

Google-Extended is een robots.txt-user-agent-token waarmee je kunt weigeren dat je inhoud wordt gebruikt om Googles Gemini-modellen te trainen en te onderbouwen. Het staat los van Googlebot. Google-Extended blokkeren beïnvloedt je Google Search-ranking niet en evenmin je aanwezigheid in de gewone zoekresultaten — het regelt alleen de training en onderbouwing van generatieve AI.

Is AI-bots toestaan slecht voor SEO?

Nee. AI-crawlers toestaan schaadt je klassieke Google-ranking niet; Googlebot en AI-trainingstokens zoals Google-Extended worden afzonderlijk geregeld. Antwoordmachine-bots toestaan helpt je juist te verschijnen in ChatGPT en Perplexity, wat steeds meer deel uitmaakt van hoe kopers merken ontdekken. Er is geen SEO-straf voor het laten lezen van je openbare inhoud door AI-crawlers.

Hoe blokkeer ik een AI-crawler in robots.txt?

Voeg een blok toe dat de user-agent benoemt, gevolgd door een Disallow-regel. Bijvoorbeeld: User-agent: GPTBot en daarna Disallow: / blokkeert GPTBot voor de hele site. Herhaal één blok per bot die je wilt beperken. Voer na het bewerken deze checker opnieuw uit en bevestig dat /robots.txt HTTP 200 teruggeeft, zodat de regel daadwerkelijk wordt geserveerd.

Wat is het verschil tussen robots.txt en llms.txt?

robots.txt regelt welke bots welke paden mogen ophalen — het is een rechtenlaag. llms.txt is een voorgesteld bestand dat je belangrijkste pagina’s en documentatie opsomt zodat AI-systemen je beste inhoud snel vinden. Ze werken samen: robots.txt regelt de toegang, llms.txt wijst welopgevoede AI naar wat je het liefst geciteerd ziet.

Zullen AI-crawlers mijn robots.txt gehoorzamen?

Betrouwbare crawlers van OpenAI, Anthropic, Perplexity en Google verbinden zich publiekelijk aan het naleven van robots.txt. Het is een richtlijn, geen hard blok, dus een kwaadwillende scraper kan het negeren — maar de grote AI-aanbieders die de antwoorden van ChatGPT, Claude, Perplexity en Gemini voeden, respecteren het, wat robots.txt het praktische controlepunt voor AI-zichtbaarheid maakt.

Hoe vaak moet ik mijn robots.txt op AI-bots controleren?

Minstens elk kwartaal, en na elke wijziging aan CDN, beveiligingsplugin of platform. AI-aanbieders voegen regelmatig user-agents toe of hernoemen ze — Applebot-Extended en OAI-SearchBot zijn recente voorbeelden — dus een bestand dat vorig jaar klopte, kan nu nieuwe bots missen of een verouderd blok dragen. Deze checker opnieuw uitvoeren duurt seconden en vangt stille wijzigingen op.

Toegestaan is niet hetzelfde als genoemd

Toegang is stap één. Ontdek of AI-engines je merk echt aanbevelen — en hoe je dat voor elkaar krijgt.

Mijn gratis RAIVE-score ophalen