Wanneer moet een AI-assistent 'dat weet ik niet' zeggen?

Een AI-assistent moet "dat weet ik niet" zeggen zodra hij onvoldoende betrouwbare informatie heeft om een antwoord te onderbouwen. Bij een RAG-systeem betekent dat meestal dat er geen relevante broncontext is gevonden, dat de gevonden passages te zwak of tegenstrijdig zijn, of dat het antwoord niet overtuigend uit de opgehaalde bronnen kan worden afgeleid. In zulke gevallen is weigeren of expliciet onzekerheid aangeven beter dan een plausibel klinkend antwoord genereren.

Dat is vooral belangrijk bij kennissystemen voor juridische, publieke of bedrijfsinformatie. Een taalmodel kan bijna altijd een grammaticaal correct antwoord produceren, ook wanneer de benodigde feiten ontbreken. Zonder technische rem ontstaat daardoor een systeem dat overtuigend klinkt maar soms simpelweg gokt. Een goed ontworpen assistent beschouwt "geen antwoord" daarom als een geldige en soms zelfs gewenste uitkomst.

Een taalmodel weet niet vanzelf wanneer kennis ontbreekt

Een taalmodel werkt niet als een traditionele database waarin een antwoord simpelweg wel of niet aanwezig is. Het voorspelt telkens welk volgend stukje tekst waarschijnlijk past bij de prompt en de beschikbare context. Dat betekent dat het model ook kan doorgaan wanneer de informatiebasis zwak is. Vraagt een gebruiker bijvoorbeeld naar een specifieke bepaling uit een intern contract en staat de relevante overeenkomst niet in de RAG-index, dan kan het model alsnog een juridisch klinkend antwoord formuleren.

Juist daar ontstaat hallucinatie: niet noodzakelijk doordat het model "liegt", maar doordat het tekst genereert terwijl de feitelijke onderbouwing ontbreekt. Bij RAG moet daarom niet alleen worden gebouwd aan het vinden van goede context — zie ook RAG uitgelegd: zo bouw je een AI die niet liegt. Je moet ook expliciet bepalen wat het systeem doet wanneer goede context níet wordt gevonden.

Weigeren begint al vóór het taalmodel antwoord geeft

De eerste controle vindt meestal plaats tijdens retrieval. Een RAG-pipeline zoekt passages die semantisch overeenkomen met de vraag, en elke gevonden passage krijgt daarbij een relevantiescore of vergelijkbare rangschikking. Wanneer alle gevonden passages weinig verband houden met de vraag, is dat een sterk signaal dat het systeem onvoldoende informatie heeft.

Je kunt daarom een drempel instellen: alleen wanneer minimaal één of meerdere passages voldoende relevant zijn, wordt de vraag doorgestuurd naar het taalmodel. Haalt de vraag die grens niet, dan hoeft het model helemaal geen vrij antwoord te genereren — het systeem kan direct teruggeven: "Ik kan dit niet betrouwbaar beantwoorden op basis van de beschikbare bronnen." Dat is vaak veiliger dan het taalmodel zelf laten bepalen of het genoeg informatie heeft.

De exacte drempel verschilt per toepassing. Een te hoge grens zorgt ervoor dat de assistent onnodig vaak weigert. Een te lage grens laat irrelevante context door, waardoor hallucinaties juist waarschijnlijker worden. Zo'n grens moet daarom worden getest op echte vragen uit de praktijk, niet op een vaste waarde uit een handboek.

Detecteer expliciet wanneer geen relevante context is gevonden

Een veelgemaakte fout is dat een RAG-systeem altijd een aantal passages naar het model stuurt, ook als die nauwelijks relevant zijn. Een vectorzoekopdracht vindt immers bijna altijd iets — de "beste" vijf passages zijn niet automatisch góéde passages. Passen alle documenten slecht bij de vraag, dan krijg je simpelweg de vijf minst slechte resultaten.

Daarom moet de applicatielaag onderscheid maken tussen relevante context gevonden, twijfelachtige context gevonden, en geen bruikbare context gevonden. Bij de laatste categorie hoort geen normaal antwoord. Bij twijfel kun je een tussenvorm gebruiken: de assistent geeft aan dat de gevonden informatie slechts gedeeltelijk antwoord biedt en benoemt expliciet welk onderdeel niet kan worden vastgesteld — nuttiger dan een alles-of-niets-benadering.

Controleer of citaties het antwoord werkelijk ondersteunen

Bronvermelding alleen maakt een antwoord nog niet betrouwbaar. Een AI-systeem kan een bron noemen die wel over hetzelfde onderwerp gaat, maar de specifieke bewering niet ondersteunt. Dat komt vooral voor wanneer een model een correct ogende formulering genereert en daar vervolgens de meest verwante bron bij plaatst — het patroon dat in Waarom RAG zonder bronvermelding waardeloos is wordt uitgewerkt.

Bij toepassingen waar broncontrole belangrijk is, hoort daarom een extra verificatiestap: bestaat er een bijbehorende bronpassage, komt die passage inhoudelijk overeen met de claim, en voegt het antwoord geen informatie toe die nergens in de context voorkomt? Zo'n controle kan deels via regels worden uitgevoerd en deels met een tweede modelstap die na generatie beoordeelt welke zinnen daadwerkelijk door de opgehaalde context worden ondersteund. Kunnen belangrijke claims niet worden onderbouwd, dan moet het antwoord worden aangepast of afgewezen.

Confidence is geen magisch betrouwbaarheidsgetal

Bij AI-systemen wordt vaak gesproken over een confidence score, maar dat begrip kan misleidend zijn. Een taalmodel levert meestal niet vanzelf één objectief getal dat aangeeft hoe waar een antwoord is. Wat in een RAG-systeem als "confidence" wordt gebruikt, is vaak een combinatie van signalen: de relevantiescore van de gevonden passages, hoeveel onafhankelijke passages hetzelfde antwoord ondersteunen, of bronnen elkaar tegenspreken, of het antwoord rechtstreeks uit de context kan worden afgeleid, en of citaties daadwerkelijk aansluiten op de claims.

Je kunt die signalen combineren tot een beslisregel: voldoende relevante retrieval én ondersteunde citaties betekent antwoorden, zwakke retrieval of ontbrekende onderbouwing betekent weigeren of onzekerheid aangeven. Dat is betrouwbaarder dan het model simpelweg vragen "hoe zeker ben je van je antwoord?" — een taalmodel kan namelijk ook heel zelfverzekerd klinken wanneer het fout zit.

Soms moet het systeem gedeeltelijk weigeren

Niet iedere vraag is volledig wel of niet te beantwoorden. Stel dat iemand vraagt: "Wat staat er in ons arbeidsvoorwaardenreglement over thuiswerken en hoeveel thuiswerkvergoeding krijg ik?" De RAG-index bevat mogelijk wel het thuiswerkbeleid, maar geen informatie over een vergoeding. Een goed systeem weigert dan niet het volledige antwoord en verzint ook geen bedrag — het meldt dat het beleid over thuiswerken beschikbaar is, maar dat in de geraadpleegde bronnen geen bedrag voor een thuiswerkvergoeding is gevonden.

Dat patroon is belangrijk bij lange of samengestelde vragen. Technisch kun je de vraag opsplitsen in afzonderlijke claims of deelvragen en voor elk onderdeel bepalen of voldoende bewijs beschikbaar is. Zo ontstaat een assistent die precies aangeeft waar de grens van zijn kennis ligt.

Een systeem dat nooit weigert is voorspelbaar onbetrouwbaar

Een assistent die altijd antwoord geeft, lijkt op het eerste gezicht gebruiksvriendelijk. In werkelijkheid maakt die ontwerpkeuze het systeem moeilijker te vertrouwen, want gebruikers kunnen niet meer onderscheiden wanneer een antwoord op sterke bronnen is gebaseerd en wanneer het model vooral een aannemelijke formulering genereert. Dat risico wordt groter naarmate de gevolgen van fouten ernstiger zijn: bij een interne productcatalogus is een verkeerd antwoord vooral irritant, bij juridische documenten, procedures, beleidsregels of compliance-informatie kan dezelfde fout tot verkeerde beslissingen leiden.

Een systeem dat nooit "dat weet ik niet" zegt, maskeert bovendien problemen in de kennisbank. Ontbrekende documenten, slechte chunking en verouderde indexen blijven onzichtbaar omdat het model de gaten telkens met tekst opvult. Weigeringen zijn daarom ook nuttige diagnostische signalen: stellen gebruikers vaak vragen waarop het systeem geen onderbouwd antwoord kan vinden, dan weet je precies waar de kennisbasis moet worden verbeterd.

Monitor ook waarom het systeem weigert

Een betrouwbaar RAG-systeem registreert niet alleen dát een antwoord is geweigerd, maar ook waarom: geen documenten gevonden, relevantiescore te laag, bronnen spreken elkaar tegen, gevraagde informatie ontbreekt in de passages, of citatiecontrole mislukt. Falen veel vragen omdat retrieval niets vindt, dan is de indexering of chunking mogelijk niet op orde. Worden wel relevante bronnen gevonden maar faalt citatieverificatie vaak, dan ligt het probleem eerder in prompting of generatie. Zo wordt weigeren niet alleen een veiligheidsmechanisme, maar ook een manier om de kwaliteit van het kennissysteem structureel te verbeteren.

Een betrouwbare AI-assistent probeert dus niet iedere vraag koste wat het kost te beantwoorden. Bouw expliciete controles in voor retrievalkwaliteit, ontbrekende context en brononderbouwing, en laat het systeem gedeeltelijk of volledig weigeren wanneer die controles niet worden gehaald. "Dat weet ik niet op basis van de beschikbare bronnen" is geen mislukking van een RAG-systeem; het is vaak precies het antwoord dat laat zien dat het systeem correct is ontworpen.