Wat is robots.txt?
Het bordje bij de voordeur van je site. Het vertelt Google, Bing en ook AI-bots waar ze wel en niet naar binnen mogen.
Door Bobby · Laatst gecontroleerd op 12 november 2026
Robots.txt is een tekstbestand in de hoofdmap van je site dat crawlers vertelt welke delen ze mogen bezoeken. Het regelt toegang, niet indexering: een pagina die je hier blokkeert, kan toch in Google opduiken als er links naartoe wijzen.
Een paar regels tekst.
Het bestand staat altijd op /robots.txt en bestaat uit blokken. Elk blok begint met User-agent, de naam van de crawler, gevolgd door regels met Allow en Disallow voor paden.
Een sterretje als user-agent geldt voor alle crawlers. Daarnaast kun je per bot iets anders afspreken, bijvoorbeeld voor GPTBot van OpenAI of ClaudeBot van Anthropic. Onderaan staat meestal een regel die naar je sitemap wijst. Brave crawlers houden zich eraan, maar het is geen slot op de deur: wie kwaad wil, negeert het gewoon.
Ons eigen bestand, regel voor regel.
Op daalderconcepts.com/robots.txt mag elke crawler alles bezoeken, behalve de map /api/ met technische koppelingen. Daarna volgen aparte blokken voor AI-bots als GPTBot, ClaudeBot, Google-Extended en Applebot-Extended, die dezelfde toegang krijgen.
Dat is een bewuste keuze. We willen dat ChatGPT, Claude en Google AI onze pagina's kunnen lezen, zodat ze ons kunnen noemen als iemand vraagt naar een bureau in Eindhoven. Onderaan staat de verwijzing naar onze sitemap.
Je robots.txt controleren in drie stappen.
- 01
Open het bestand
Typ je domein met /robots.txt erachter. Zie je Disallow: / onder User-agent: *, dan sluit je alle zoekmachines buiten. Dat gebeurt vaker dan je denkt na een verhuizing.
- 02
Kijk naar de AI-bots
Zoek op GPTBot, ClaudeBot en Google-Extended. Staan ze geblokkeerd, bepaal dan of dat bewust is.
- 03
Test in Search Console
Onder Instellingen vind je het robots.txt-rapport. Daar zie je welke versie Google heeft gelezen en of er fouten in staan.
Wanneer het ertoe doet.
Meestal hoef je er weinig mee, zolang er niets geblokkeerd staat wat je wel gevonden wilt hebben. Het wordt belangrijk na een verhuizing of nieuwe site, en als je wilt bepalen of AI-assistenten je content mogen lezen.
Bij elke SEO-scan lopen we je robots.txt na. Wil je weten hoe je in AI-antwoorden komt, lees dan over AI-vindbaarheid.
Wat je vast wilt weten.
Haal ik een pagina uit Google met robots.txt?
Nee. Robots.txt verbiedt alleen het bezoeken. Een geblokkeerde pagina kan toch in Google verschijnen als er links naartoe wijzen. Wil je een pagina echt uit Google, gebruik dan een noindex-tag en laat de pagina bereikbaar.
Moet ik AI-bots zoals GPTBot blokkeren?
Dat is een keuze. Blokkeer je ze, dan kan ChatGPT je pagina's niet lezen en noemt het je minder snel. Wij laten ze toe, omdat we juist in AI-antwoorden genoemd willen worden.
Wat gebeurt er als ik geen robots.txt heb?
Dan mogen crawlers alles bezoeken. Voor de meeste sites is dat geen probleem, maar je mist dan wel de plek waar je naar je sitemap verwijst.
Google Search Central: inleiding tot robots.txt
Eigen controle van daalderconcepts.com/robots.txt, 12 november 2026.
