Onlangs toonde Radar AVROTROS in een kritische uitzending hoe Google’s AI-overzichten regelmatig onjuiste of misleidende informatie geven - terwijl de gewone zoekresultaten eronder wél correct zijn. Dit roept een prangende vraag op : als Google toegang heeft tot goede zoekresultaten, waarom zijn de AI-antwoorden dan vaak van mindere kwaliteit?
Het antwoord ligt in een fundamenteel spanningsveld tussen twee soorten kennis die deze AI-systemen gebruiken. Om dit te begrijpen, helpt een simpele analogie.
De analogie: een verouderd wereldbeeld
Stel je voor dat iemand twintig jaar geleden zijn opleiding heeft afgerond, en nu elke dag tien minuten nieuws leest. Die persoon heeft wel toegang tot nieuwe informatie, maar zijn fundamentele wereldbeeld is gevormd door die oude opleiding. Als die opleiding vol zat met misinformatie, blijft dat zijn denken kleuren - ook al leest hij nu betere bronnen.
Precies zo werken AI-systemen zoals Google’s AI Overviews. Ze combineren twee informatiebronnen die niet altijd goed op elkaar aansluiten.
Twee soorten kennis in AI-systemen
Wanneer je een vraag stelt aan Google’s AI, gebeuren er twee dingen:
1. Pre-trained kennis (de ‘opleiding’)
Het AI-model is getraind op enorme hoeveelheden tekst van het internet - vaak data van jaren geleden. Deze kennis zit letterlijk ingebakken in het model. Het probleem: die trainingsdata bevatten veel SEO-spam, clickbait en misinformatie. Onderzoek van Shayne Longpre en collega’s aan MIT toont aan dat “pretraining data design is critically under-documented and often guided by empirically unsupported intuitions” - met andere woorden: de kwaliteit van trainingsdata wordt vaak niet goed gecontroleerd.
2. Live zoekresultaten (het ‘nieuws lezen’)
Via een techniek genaamd Retrieval-Augmented Generation (RAG) haalt het systeem actuele zoekresultaten op en voegt die toe aan de prompt. Dit zou in theorie moeten zorgen voor actuele, correcte antwoorden.
Waarom de oude ‘opleiding’ blijft doorwerken
Hier komt het cruciale punt: die pre-trained kennis verdwijnt niet zomaar. Onderzoek van Stanford en Princeton toont aan dat AI-modellen een sterke voorkeur hebben voor wat ze tijdens training hebben geleerd, zelfs wanneer ze nieuwe, tegenstrijdige informatie krijgen.
Dit fenomeen heet ‘parametric memory overgeneralization’. In gewone taal: het model vertrouwt zijn oude kennis meer dan de nieuwe informatie die je het geeft. Zoals de onderzoekers het formuleren: “Large language models often favor their parametric memory over contextual information, even when that memory is outdated or incorrect.” Ander onderzoek toont aan dat LLMs een sterke “shortcut bias” vertonen: ze hebben een sterke voorkeur om retrieved context te gebruiken, maar wanneer die context tegenstrijdig is met hun pre-trained kennis, blijft die oude kennis doorwerken.
Het is echt heel moeilijk voor een AI-systeem om iets wat het ‘geleerd’ heeft weer te ‘ont-leren’.
Het PageRank-probleem
Google is de grootste zoekmachine geworden door zijn PageRank-algoritme, dat websites beoordeelde op basis van de kwaliteit en het aantal links ernaar toe. Dit werkte als een democratisch systeem: goede bronnen kregen meer autoriteit.
Maar de trainingsdata voor AI-modellen wordt nog vaak geselecteerd op basis van hoe vaak teksten voorkomen op het web - niet op basis van kwaliteit. Onderzoek naar de samenstelling van trainingsdata laat zien dat SEO-geoptimaliseerde spam en clickbait massaal voorkomen in datasets zoals Common Crawl, en daardoor onevenredig veel gewicht krijgen in de training. Zoals de onderzoekers concluderen: “Low-quality, SEO-optimized content is significantly overrepresented in web-scraped training datasets.”
Het gevolg: het AI-model heeft een fundamenteel wereldbeeld dat is gekleurd door deze lage-kwaliteit bronnen. Zelfs als het systeem nu betere zoekresultaten krijgt via RAG, blijft dat oude wereldbeeld doorwerken.
Wat betekent dit voor jou als gebruiker?
Als je Google’s AI Overviews gebruikt, is het essentieel om kritisch te blijven. Hier zijn praktische tips:
Valideer AI-antwoorden met de zoekresultaten eronder
Scroll voorbij het AI-overzicht en de advertenties, en bekijk de daadwerkelijke zoekresultaten. Deze zijn vaak betrouwbaarder dan het AI-antwoord zélf.
Let op: schakel NIET over naar AI-modus
Google biedt een optie om volledig over te schakelen naar AI-modus. Doe dit niet als je informatie wilt verifiëren - in die modus zie je namelijk helemaal geen zoekresultaten meer, waardoor je geen mogelijkheid hebt om het AI-antwoord te controleren.
Wees extra alert bij medische, financiële of juridische vragen
Bij dit soort onderwerpen zijn de risico’s van misinformatie het grootst. Vertrouw niet blind op AI-antwoorden, maar raadpleeg altijd gerenommeerde bronnen of professionals.
De bredere les
Het probleem met Google’s AI Overviews illustreert een fundamentele uitdaging voor alle AI-systemen die tekst genereren: ze zijn zo goed als de data waarop ze zijn getraind. En die data is best vaak van twijfelachtige kwaliteit.
RAG-technieken kunnen helpen door actuele, betere informatie toe te voegen, maar ze kunnen het fundamentele wereldbeeld van het model niet volledig overschrijven. Onderzoek van de University of Washington toont aan dat zelfs met hoogwaardige retrieved context, modellen in 30-40% van de gevallen terugvallen op hun (foutieve) pre-trained kennis. Net zoals iemand met een verouderde opleiding moeite heeft om diepgewortelde overtuigingen te veranderen, blijven AI-modellen beïnvloed door hun oorspronkelijke training.
Voor gebruikers betekent dit: blijf kritisch, verifieer informatie, en vertrouw niet blind op AI-antwoorden - hoe overtuigend ze ook klinken. De zoekresultaten eronder zijn vaak je beste vriend.
Dit artikel is gebaseerd op deze research.