Ruim één op de vijf topsites blokkeert AI-crawlers
Nederlandse SEO- en AI-vindbaarheidsbureau Writgo publiceerde begin juli 2026 een onderzoek naar de technische toegankelijkheid van Nederlandse websites voor AI-crawlers. Het bureau scande de vijfhonderd hoogst genoteerde .nl-domeinen uit de Tranco-ranglijst, een veelgebruikte index van populaire websites. Van die vijfhonderd domeinen bleken er 398 publiek bereikbaar; op basis daarvan berekende Writgo de cijfers in het rapport.
De uitkomst: "22,4% blokkeert minstens één AI-crawler volledig in robots.txt", meldt Writgo zelf. In de eigen samenvatting van het onderzoek schrijft het bureau: "Wij scanden op 1 juli 2026 de 500 populairste .nl-domeinen. Van de 398 bereikbare sites zet 1 op de 5 minstens één AI-crawler volledig buiten de deur."
Writgo onderzocht in totaal elf verschillende AI-crawlers, waaronder GPTBot van OpenAI, CCBot van Common Crawl, ClaudeBot van Anthropic, Google-Extended van Google, Bytespider van ByteDance, Applebot-Extended van Apple en Meta-ExternalAgent van Meta. Deze bots doorzoeken het web om trainingsdata te verzamelen of om actuele informatie op te halen voor AI-antwoorden in chatbots en zoekassistenten. Een blokkade in robots.txt betekent dat een site voor die specifieke bot feitelijk onzichtbaar is.
Het onderzoek van Writgo sluit aan bij een bredere verschuiving die de Nederlandse marketing- en zoeksector al langer bezighoudt: waar vindbaarheid vroeger vooral om een goede positie in Google draaide, wordt zichtbaarheid in AI-gegenereerde antwoorden een steeds groter onderdeel van online marketingstrategie. Een website die technisch ontoegankelijk is voor AI-crawlers, kan in die antwoorden domweg niet voorkomen — ongeacht hoe goed de content op de site zelf is.
Waarom bedrijven AI-crawlers zonder het te weten weren
Een blokkade van 22,4 procent klinkt op zich niet schokkend — bedrijven kunnen bewust kiezen om hun content niet te laten meenemen in AI-training of AI-antwoorden. Het probleem is dat een groot deel van deze blokkades vermoedelijk onbedoeld is. Marketingsite Frankwatching besteedde op 6 juli 2026 aandacht aan het onderzoek en wijst op een aantal mogelijke verklaringen voor die onbewuste blokkades.
De eerste is dat robots.txt-bestanden vaak jarenlang ongewijzigd blijven staan. Regels die ooit zijn ingesteld om agressieve scrapers of onbekende bots te weren, blokkeren inmiddels ook legitieme AI-crawlers, zonder dat iemand dat bestand recent heeft herzien. De tweede verklaring ligt bij eigenaarschap: het robots.txt-bestand valt in veel organisaties tussen wal en schip, ergens tussen het marketingteam en de development-afdeling, waardoor niemand zich er structureel over ontfermt. De derde factor is prioritering: technische aanpassingen die AI-vindbaarheid verbeteren, zoals gestructureerde data, worden vaak gezien als een 'nice to have' in plaats van een randvoorwaarde.
Die prioritering is zichtbaar in een ander cijfer uit het Writgo-onderzoek: van de sites die wél toegankelijk zijn voor AI-crawlers, heeft slechts 1,5 procent FAQ-schema op de homepage staan — een vorm van gestructureerde data waarmee AI-systemen vraag-en-antwoordcontent makkelijker kunnen citeren. Toegankelijkheid alleen is dus niet voldoende: een site kan wel open staan voor AI-crawlers, maar tegelijkertijd slecht zijn ingericht om daadwerkelijk geciteerd te worden in een AI-antwoord.
Nieuwsmedia blokkeren wél bewust — en mogen dat
Niet elke blokkade in het onderzoek is onbedoeld. Grote Nederlandse nieuwsmedia vormen daarop een duidelijke uitzondering, meldt Writgo. Titels als NOS, NU.nl, AD, RTL, de Volkskrant, Trouw en Het Parool blokkeren elk tien van de elf onderzochte AI-crawlers. Dat is volgens het onderzoek een bewuste keuze, ingegeven door auteursrechtelijke overwegingen: nieuwsuitgevers willen niet dat hun journalistieke content zonder vergoeding of bronvermelding wordt hergebruikt om AI-modellen te trainen of om AI-antwoorden mee samen te stellen.
Opvallend is dat NRC binnen deze groep de uitzondering vormt en een ander beleid voert dan de overige grote nieuwstitels, aldus het onderzoek. Dat illustreert dat zelfs binnen dezelfde sector — en onder vergelijkbare commerciële druk — uitgevers verschillende afwegingen maken over de balans tussen zichtbaarheid in AI-systemen en controle over het eigen materiaal.
Het onderscheid tussen de bewuste blokkade van nieuwsmedia en de vermoedelijk onbewuste blokkade bij een deel van de overige 398 onderzochte sites is relevant voor hoe je de uitkomsten van het onderzoek moet lezen. Bij nieuwsmedia is de blokkade een strategische keuze met een duidelijke motivatie: bescherming van intellectueel eigendom en verdienmodel. Bij veel andere bedrijven lijkt de blokkade eerder een technisch restant te zijn waar niemand meer naar omkijkt, met als onbedoeld gevolg dat een deel van het eigen zoekverkeer wordt afgesneden op precies het kanaal dat volgens meerdere bureaus in de sector hard groeit.
Wat dit betekent voor Nederlandse marketingbureaus
Voor Nederlandse marketingbureaus en de bedrijven die zij adviseren, raakt het Writgo-onderzoek een praktisch en goed te verifiëren onderdeel van technische SEO. Een robots.txt-bestand controleren op onbedoelde AI-crawlerblokkades is geen ingewikkelde exercitie: het bestand is voor elke website publiek te raadplegen via het pad /robots.txt, en de regels voor specifieke bots als GPTBot of ClaudeBot zijn direct af te lezen.
Dat maakt dit type controle een logische toevoeging aan bestaande SEO-audits, naast de opkomst van llms.txt-bestanden en gestructureerde data als FAQ-schema, waarvan het onderzoek laat zien dat de meeste sites er nog nauwelijks gebruik van maken. Voor klanten die willen meebewegen met de verschuiving van klassieke zoekmachines naar AI-gegenereerde antwoorden, is dit een van de weinige onderdelen van GEO (generative engine optimization) die zich hard laat meten: een site staat open voor een crawler, of niet.
Tegelijk plaatst het onderzoek een kanttekening bij het gemak waarmee 'AI-vindbaarheid' als thema wordt opgepakt. Toegankelijkheid is een randvoorwaarde, geen garantie op een vermelding: zoals het onderzoek van Writgo naar AI-citaties eerder liet zien, bepalen vooral autoriteit, actualiteit en de aanwezigheid op platforms waarop AI-systemen zich baseren of een merk daadwerkelijk in een AI-antwoord terechtkomt. Voor bureaus die klanten adviseren over hun online vindbaarheid, is een robots.txt-check daarmee een eerste, relatief eenvoudige stap in een veel breder vraagstuk dat de komende tijd verder vorm zal krijgen.