Check je robots.txt: blokkeer je ChatGPT en Perplexity zonder het te weten?

Het probleem

Van 140 miljoen onderzochte sites blokkeert 5,9% GPTBot, de crawler van OpenAI. In vrijwel geen van die gevallen is dat ooit besloten. Het staat er omdat de robots.txt uit een oud sjabloon komt, of omdat Cloudflare een functie heeft die AI-bots via robots.txt afwimpelt en die standaard aanstaat.

Het gevolg is stil. Er komt geen foutmelding, je Google-posities blijven gelijk, je analytics laat niets bijzonders zien. Je bent alleen onzichtbaar geworden op de plek waar steeds meer mensen hun antwoord halen.

En er is een tweede, subtielere variant van hetzelfde probleem: sites die bewust "AI hebben geblokkeerd" om te voorkomen dat er met hun content getraind wordt, en die daarbij per ongeluk ook de bots dichtzetten die hen in antwoorden zouden citeren. Dat zijn verschillende bots. Bijna niemand weet dat.

Wat je aan het eind hebt

• Zekerheid dat de drie bots die je zichtbaarheid bepalen binnen mogen
• Een bewuste keuze over trainingscrawlers, in plaats van een geërfde instelling
• Een robots.txt die je kunt uitleggen aan wie ernaar vraagt
• Een controle die je elk kwartaal in twee minuten herhaalt

Tijd: tien minuten voor de controle. Een half uur als je ook de serverlogs erbij pakt.

Wat je nodig hebt

• Een browser. Voor de basiscontrole is dit genoeg
• Toegang tot je robots.txt (via je CMS, je hostingpanel of je webbouwer)
• Optioneel: toegang tot je Cloudflare-dashboard, als je Cloudflare gebruikt
• Optioneel: serverlogs of bot-analytics, om te controleren of het werkt

De stappen

Stap 1: Open je robots.txt

Ga naar jouwdomein.nl/robots.txt. Elke site heeft er een; krijg je een 404, dan is er geen en blokkeer je niets (dat is op zichzelf prima).

Zoek naar de regel Disallow: onder een User-agent: die je in stap 2 tegenkomt.

Stap 2: Zoek deze namen

Dit is de kern. Er zijn drie soorten bots en ze hebben verschillende gevolgen.

🔴 Deze drie bepalen je zichtbaarheid. Blokkeer ze niet, tenzij je precies weet waarom.

⚪ Deze gaan over training. Hier mag je een eigen afweging maken.

Let op bij Perplexity. Die partij heeft geen trainingscrawler; PerplexityBot dient uitsluitend om je in zoekresultaten te tonen, en Perplexity zegt daar zelf bij dat hij "not used to crawl content for AI foundation models" is. Wie hem blokkeert om training tegen te gaan, bereikt dat doel niet en verliest alleen zichtbaarheid.

Stap 3: Controleer Cloudflare apart

Gebruik je Cloudflare, dan is je zichtbare robots.txt niet per se het hele verhaal. Zoek in het dashboard naar de AI-botinstellingen (de functie heet iets als "instruct AI bot traffic with robots.txt" of AI Crawl Control). Die kan regels toevoegen of verkeer blokkeren zonder dat je bestand verandert.

Dit is de meest voorkomende oorzaak van een blokkade die niemand heeft besloten.

Stap 4: Pas aan wat er niet hoort

Zie het blok onderaan dit stuk. Kopieer wat je nodig hebt, en laat de rest staan zoals het is, met name je bestaande regels voor Googlebot en je sitemapverwijzing.

Stap 5: Controleer of het gelukt is

Herlaad jouwdomein.nl/robots.txt en lees het opnieuw. Sommige CMS'en genereren het bestand en negeren wat jij invult; dan zie je je wijziging niet terug en moet je het via het CMS zelf regelen.

Controlepunten

Zo weet je of het echt goed staat, in plaats van dat je het hoopt.

1. De letterlijke test. Zoek in je robots.txt op elk van de drie zichtbaarheidsbots. Staat er Disallow: / onder een van hen, dan is dat een keuze die je bewust moet kunnen verdedigen.
2. De wildcard-val. Een blok dat begint met User-agent: * gevolgd door Disallow: / sluit alles uit, inclusief Google. Zeldzaam, maar hij komt voor op sites die ooit een staging-omgeving waren.
3. De volgorde-val. Crawlers volgen het meest specifieke blok dat op hen van toepassing is. Een eigen blok voor OAI-SearchBot overrulet dus het algemene *-blok, maar alleen als de naam exact klopt, inclusief hoofdletters en koppelteken.
4. De serverlogcontrole (de enige echte). Kijk in je serverlogs of bot-analytics of OAI-SearchBot, Claude-SearchBot en PerplexityBot je site de afgelopen dertig dagen daadwerkelijk hebben bezocht. Zien staat boven redeneren.
5. De JavaScript-controle. Zet JavaScript uit in je browser en laad je belangrijkste pagina. Zie je je kernteksten nog? Zo niet, dan maakt je robots.txt niet uit: GPTBot, ClaudeBot en PerplexityBot voeren geen JavaScript uit en zien dus niets. Datzelfde geldt voor schema-markup die je via een tagmanager inlaadt.

Veelgemaakte fouten

Alles dichtzetten "voor de zekerheid". Dit is de duurste. Je voorkomt training die je toch al niet kon controleren, en je levert de zichtbaarheid in die je wel wilde.

Google-Extended blokkeren omdat het over Google gaat. Het raakt je zoekpositie niet. Het raakt wel de grounding: het onderbouwen van AI-antwoorden met bronnen. Precies de zichtbaarheid die de meeste sites juist zoeken.

Denken dat robots.txt een slot is. Het is een verzoek, geen afscherming. De gebruikersagenten halen een pagina op omdat een mens erom vraagt, en daar lopen de leveranciers uiteen: Perplexity zegt dat Perplexity-User "generally ignores robots.txt rules", OpenAI dat voor ChatGPT-User "robots.txt rules may not apply". Anthropic zegt juist dat je met Claude-User kunt regelen welke pagina's opgehaald worden. Wil je content echt afschermen, dan heb je een inlog of een blokkade op serverniveau nodig.

Energie steken in llms.txt. Dat bestand komt in vrijwel elke AEO-checklist voor, soms als "kritiek". Ahrefs onderzocht de serverlogs van 137.000 domeinen: 97% van die bestanden kreeg nul verzoeken, en bots vroegen het nooit op bij domeinen waar het niet bestond. Ze zoeken er dus niet naar. Google bevestigt in de eigen documentatie dat het geen effect heeft op zichtbaarheid of rankings. Dit is de robots.txt-controle níét; het is de afleiding ervan.

De check één keer doen. Bots worden toegevoegd en hernoemd. Claude-SearchBot en OAI-AdsBot bestonden een jaar geleden nog niet. Zet een kwartaalherinnering.

Vergeten dat je 404's ook verkeer kosten. AI-systemen sturen bezoekers 2,87× vaker naar een niet-bestaande URL, omdat modellen links verzinnen. Een goede redirectstrategie vangt bezoekers op die je al verdiend had.

Het template

Dit blok laat trainingscrawlers buiten en zoekcrawlers binnen. Dat is de meest gekozen combinatie voor wie zichtbaar wil zijn zonder gratis trainingsmateriaal te leveren.

# Zoek- en citatiebots: welkom. Deze bepalen je zichtbaarheid.
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Trainingscrawlers: geweigerd. Verwijder deze blokken als je
# er geen bezwaar tegen hebt dat je content modellen traint.
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Wil je juist alles toestaan (de eenvoudigste en voor de meeste bedrijven de verstandigste keuze), zet dan bij alle zes Allow: /, of laat ze simpelweg weg: wat niet verboden is, is toegestaan.

⚠️ Plak dit nooit over je bestaande bestand heen. Je huidige robots.txt bevat waarschijnlijk regels voor Googlebot, uitsluitingen voor je beheeromgeving en een verwijzing naar je sitemap. Die moeten blijven staan. Voeg deze blokken toe, vervang niets.

De controleprompt

Weet je niet zeker wat er in je bestand staat? Plak de inhoud in een AI-assistent met deze opdracht:

Hieronder staat de robots.txt van mijn website. Beantwoord vier vragen, kort en zonder aannames:

1. Worden OAI-SearchBot, Claude-SearchBot of PerplexityBot geblokkeerd, direct of via een User-agent: *-blok?
2. Worden GPTBot, ClaudeBot of Google-Extended geblokkeerd?
3. Staan er regels in die per ongeluk méér blokkeren dan bedoeld, bijvoorbeeld een Disallow: / in een algemeen blok?
4. Staan er verouderde of verkeerd gespelde user-agents in?

Geef per vraag het regelnummer waar je het op baseert. Verzin geen botnamen die er niet staan.

[plak hier je robots.txt]

Vraag om regelnummers: dan kun je het antwoord zelf controleren in plaats van het te geloven.

Tot slot

Dit is de goedkoopste controle in dit hele vakgebied.

Geen tool, geen abonnement, geen bureau: één bestand openen en drie namen zoeken.

Dat het zo vaak misgaat, komt niet doordat het moeilijk is. Het komt doordat niemand zich eigenaar voelt van een tekstbestand dat ooit door iemand anders is neergezet.