AI-crawlers in je serverlogs: zo zie je of AI je website bezoekt

Je ziet of AI je website bezoekt door in je serverlogs te zoeken naar de namen van AI-crawlers, zoals GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot en ClaudeBot. Elke keer dat zo'n bot een pagina opvraagt, schrijft je webserver een regel weg met onder meer de datum, de pagina en de naam van de bot (de user agent). Zo weet je welke pagina's AI leest en of je website goed bereikbaar is.

Wat is een AI-crawler?

Een crawler is een programma dat automatisch webpagina's ophaalt. Zoekmachines gebruiken crawlers al jaren. AI-bedrijven hebben er nu ook eigen crawlers bij. Die hebben verschillende doelen:

• Training. Pagina's verzamelen om toekomstige taalmodellen op te trainen.
• Zoeken. Een eigen zoekindex opbouwen, zodat de assistent bij een vraag snel bronnen kan vinden.
• Live ophalen. Een pagina ophalen op het moment dat een gebruiker een vraag stelt, of zelf een link deelt.

Voor je AI-zichtbaarheid zijn vooral de zoek- en live-crawlers interessant. Die bepalen of je pagina's als bron in een antwoord terecht kunnen komen.

De bekendste AI-crawlers

Dit zijn de namen die je het vaakst tegenkomt:

• GPTBot (OpenAI). Verzamelt pagina's voor de training van modellen.
• OAI-SearchBot (OpenAI). Bouwt de zoekindex voor zoeken in ChatGPT.
• ChatGPT-User (OpenAI). Haalt een pagina op als een gebruiker in ChatGPT daar om vraagt of als ChatGPT live een bron opent.
• PerplexityBot (Perplexity). Indexeert pagina's voor de zoekresultaten van Perplexity.
• Perplexity-User (Perplexity). Haalt pagina's live op bij een vraag.
• ClaudeBot (Anthropic). Verzamelt pagina's voor de training van Claude.
• Claude-User en Claude-SearchBot (Anthropic). Voor live ophalen en zoeken.
• Google-Extended. Dit is geen aparte crawler. Het is een token in robots.txt waarmee je aangeeft of Google je content mag gebruiken voor Gemini-modellen. Google crawlt gewoon met Googlebot. Je ziet Google-Extended dus niet terug in je logs.

AI-bedrijven passen hun crawlers soms aan. Check daarom af en toe de officiële documentatie van de aanbieders voor de actuele namen.

Zo bekijk je je serverlogs

Bijna elke hostingomgeving houdt toegangslogs bij (access logs). Waar je die vindt, verschilt per aanbieder. Meestal is het een van deze plekken:

1. Het beheerpaneel van je hosting. Zoek naar "logs", "toegangslogs", "statistieken" of "raw access logs". Vaak kun je een bestand per dag of per maand downloaden.
2. Via FTP of SFTP. Op veel servers staat een map met de naam "logs".
3. Via de command line (SSH). Als je toegang hebt, kun je direct in de logbestanden zoeken.

Een logregel ziet er ongeveer zo uit:

66.249.x.x - - [12/May/2026:10:15:32 +0200] "GET /diensten/cv-ketel HTTP/1.1" 200 15320 "-" "Mozilla/5.0 ... GPTBot/1.1 ..."

Je ziet het IP-adres, het tijdstip, de opgevraagde pagina, de statuscode (200 betekent "gelukt") en aan het eind de user agent met de naam van de bot.

Heb je SSH-toegang, dan tel je bijvoorbeeld alle bezoeken van AI-crawlers met:

grep -Ei "gptbot|oai-searchbot|chatgpt-user|perplexity|claude" access.log | wc -l

Zonder command line kun je een logbestand ook openen in een teksteditor of spreadsheet en zoeken op de botnamen.

Wat zeggen de logs?

Let vooral op deze punten:

• Komen de bots langs? Zie je helemaal geen AI-crawlers, controleer dan je robots.txt en eventuele firewall of botbescherming. Lees AI-crawlers toestaan in robots.txt.
• Welke pagina's lezen ze? Worden je belangrijkste dienstpagina's, je FAQ-pagina en je over-ons-pagina bezocht? Of vooral oude of onbelangrijke pagina's?
• Welke statuscodes krijgen ze? Veel 403 (geweigerd), 404 (niet gevonden) of 500 (serverfout) betekent dat de bot je inhoud niet kan lezen.
• Live-bezoeken. Bezoeken van ChatGPT-User of Perplexity-User wijzen erop dat iemand op dat moment een vraag stelde waarbij jouw pagina werd geopend.

Pas op voor nepbots

Iedereen kan een user agent invullen. Sommige scrapers doen zich voor als een bekende bot. De grote AI-bedrijven publiceren daarom lijsten met IP-adressen van hun crawlers. Wil je zeker weten dat een bezoek echt is, vergelijk dan het IP-adres met die lijst.

Wat logs niet vertellen

Een bezoek van een crawler betekent niet dat je ook genoemd wordt in een antwoord. Logs laten zien dat AI je pagina kan lezen. Of het je daarna aanbeveelt, hangt af van veel meer, zoals reviews, vermeldingen elders en de kwaliteit van je content. Om dat te weten moet je de antwoorden zelf meten. Zie zo meet je of AI je bedrijf noemt.

Veelgestelde vragen

Moet ik GPTBot toestaan?
Dat is een eigen keuze. GPTBot is voor training. Blokkeren heeft geen direct effect op zoeken in ChatGPT, dat gaat via OAI-SearchBot. Wil je in AI-antwoorden verschijnen, blokkeer dan in elk geval de zoek- en live-crawlers niet.

Belasten AI-crawlers mijn website?
Meestal valt het mee. Merk je toch veel verkeer, bespreek dan met je hostingpartij of je de snelheid kunt beperken in plaats van alles te blokkeren.

Van crawlen naar genoemd worden

Je logs vertellen of AI je website leest. HelloGeoLabs meet geen crawler-logs, maar wel wat er daarna gebeurt: of ChatGPT, Gemini, Perplexity en Claude je noemen. Begin met de gratis AI-check of volg het elke week met GEO tracking.