Gratis tools · Gratis tool
robots.txt-check voor AI-crawlers
In je robots.txt staat welke bots je website mogen lezen. Blokkeer je per ongeluk de crawlers van ChatGPT, Claude of Perplexity, dan kunnen zij je pagina’s niet als bron gebruiken.
Wat betekent dit?
Zoeken en citeren. Deze crawlers bepalen of een AI-assistent jouw pagina’s kan vinden en als bron kan noemen. Deze wil je bijna altijd toestaan.
Training. Deze crawlers verzamelen tekst om nieuwe modellen te trainen. Blokkeren mag, en heeft geen direct effect op zoeken in ChatGPT of Claude.
Deels geblokkeerd betekent dat sommige mappen of pagina’s zijn uitgesloten. Controleer of daar geen belangrijke pagina’s tussen zitten.
We kijken alleen naar je robots.txt. Een firewall of beveiligingsdienst kan bots ook tegenhouden; dat zie je hier niet.
Wil je weten of AI je bedrijf noemt?
Met de gratis AI-check stellen we vijf klantvragen aan ChatGPT, Gemini, Perplexity en Claude.