AI-crawlers toestaan in robots.txt: GPTBot, ClaudeBot en meer

Wil je dat AI-assistenten je bedrijf kunnen vinden en noemen, laat dan in elk geval hun zoekcrawlers toe in robots.txt. Of je ook crawlers voor training toelaat, is een aparte keuze. Controleer daarnaast of je firewall of CDN deze bots niet alsnog blokkeert, want dat gebeurt vaak zonder dat je het weet.

Wat is robots.txt?

Robots.txt is een klein tekstbestand in de hoofdmap van je website, bijvoorbeeld op jouwbedrijf.nl/robots.txt. Daarin staat welke bots welke delen van je site mogen bezoeken. Nette bots houden zich daaraan. Het is geen beveiliging: het is een verzoek.

Training of zoeken: het belangrijkste verschil

AI-aanbieders gebruiken meestal verschillende bots voor verschillende doelen:

• Training: de bot verzamelt teksten om toekomstige modellen te trainen. Wat je hier toelaat, kan later in de kennis van een model terechtkomen.
• Zoeken: de bot bouwt een index op, zodat de assistent je pagina kan vinden en citeren als iemand een vraag stelt.
• Live ophalen: een gebruiker vraagt de assistent iets, en die haalt op dat moment een pagina op.

Voor zichtbaarheid in antwoorden zijn vooral zoeken en live ophalen belangrijk. Training blokkeren en zoeken toestaan is dus een prima keuze als je twijfelt.

De belangrijkste bots

Op het moment van schrijven zijn dit de bekendste namen:

• GPTBot (OpenAI): voor training.
• OAI-SearchBot (OpenAI): voor zoeken in ChatGPT.
• ChatGPT-User (OpenAI): live ophalen namens een gebruiker.
• PerplexityBot (Perplexity): voor de zoekindex van Perplexity.
• Perplexity-User (Perplexity): live ophalen namens een gebruiker.
• ClaudeBot (Anthropic): voor training.
• Claude-SearchBot en Claude-User (Anthropic): voor zoeken en live ophalen.
• Google-Extended (Google): geen aparte crawler, maar een instelling waarmee je aangeeft of Google je content mag gebruiken voor Gemini-modellen. Volgens Google heeft dit geen invloed op je plek in de gewone zoekresultaten.

Botnamen en hun functies kunnen veranderen. Kijk daarom altijd in de actuele documentatie van OpenAI, Anthropic, Perplexity en Google voordat je iets aanpast.

Een voorbeeld-robots.txt

Dit voorbeeld laat zoek- en ophaalbots toe en blokkeert trainingsbots. Wil je ook training toestaan, verander dan Disallow: / in Allow: /.

# Zoeken en live ophalen: toestaan
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

# Training: blokkeren (eigen keuze)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

# Alle andere bots
User-agent: *
Disallow: /admin/

Sitemap: https://www.jouwbedrijf.nl/sitemap.xml

Let op: een bot volgt meestal alleen de groep met zijn eigen naam. Staat een bot niet apart genoemd, dan geldt de groep met User-agent: *.

Controleer ook je firewall en CDN

Een goede robots.txt is niet genoeg als je hosting de bots alsnog weert. Veel CDN's, firewalls en beveiligingsplugins hebben een instelling om "AI-bots" of "onbekende bots" te blokkeren. Soms staat die standaard aan.

Een webwinkel in Tilburg had bijvoorbeeld een nette robots.txt, maar werd nooit als bron genoemd. Wat bleek: de beveiligingsplugin gaf alle AI-bots een foutmelding. Na het aanpassen van die instelling werd de site weer bezocht.

Zo controleer je het:

1. Open je robots.txt in de browser en kijk of het bestand klopt.
2. Vraag je hostingpartij of webbouwer of er bots worden geblokkeerd.
3. Kijk in je serverlogs of je bezoeken ziet van de genoemde bots.
4. Controleer in je CDN of firewall de instellingen voor bots.

Wat robots.txt niet doet

Bots toelaten zorgt er niet vanzelf voor dat je genoemd wordt. Het is de eerste voorwaarde. Daarna gaat het om duidelijke inhoud, reviews en vermeldingen op andere sites. Lees ook 7 dingen op je website om vaker door AI genoemd te worden en ons artikel over llms.txt.

Zie je het effect?

Na een aanpassing wil je weten of het iets oplevert. Met GEO tracking zie je elke week of ChatGPT, Gemini, Perplexity en Claude je bedrijf noemen. Begin je liever klein? De gratis AI-zichtbaarheidscheck geeft je in één rapport een eerste beeld.