Kan AI jurisprudentie doorzoeken zonder te verzinnen?

Ja, AI kan jurisprudentie doorzoeken zonder zelf uitspraken te hoeven verzinnen, maar alleen als het systeem zo is ingericht dat antwoorden worden gebaseerd op echte, teruggevonden bronnen. Een taalmodel dat rechtstreeks uit zijn eigen modelkennis antwoordt, kan overtuigend klinkende maar niet-bestaande uitspraken, citaten of ECLI-nummers produceren.

Voor juridisch onderzoek is daarom een andere werkwijze nodig: eerst relevante jurisprudentie ophalen uit een betrouwbare bron en pas daarna het taalmodel laten samenvatten, vergelijken of beantwoorden. Deze aanpak wordt vaak aangeduid als retrieval-augmented generation, of RAG.

Waarom een taalmodel jurisprudentie kan verzinnen

Een taalmodel is geen juridische databank. Het model genereert tekst door te voorspellen welke woorden waarschijnlijk op elkaar volgen op basis van patronen die tijdens de training zijn geleerd.

Dat werkt goed voor uitleg, samenvatting en taalproductie. Het betekent echter niet dat het model automatisch weet of een specifieke uitspraak daadwerkelijk bestaat.

Wanneer een gebruiker bijvoorbeeld vraagt om relevante rechtspraak bij een juridisch onderwerp, kan een taalmodel een antwoord formuleren dat eruitziet alsof het uit een juridische databank komt. Het kan daarbij een plausibel ECLI-nummer, een datum, een rechterlijke instantie of zelfs een citaat produceren zonder dat daar een echte uitspraak tegenover staat.

Dat heet hallucinatie: het systeem produceert informatie die geloofwaardig klinkt, maar niet door een bron wordt ondersteund.

Het probleem is vooral riskant bij juridische informatie omdat de vorm van een fout antwoord vaak sterk lijkt op die van een correct antwoord. Een verzonnen verwijzing kan dezelfde structuur hebben als een echte juridische verwijzing.

Hoe RAG jurisprudentieonderzoek betrouwbaarder maakt

Retrieval-augmented generation verandert de volgorde waarin het AI-systeem werkt. In plaats van meteen een antwoord te genereren, zoekt het systeem eerst naar relevante documenten.

Bij jurisprudentie kan de workflow er vereenvoudigd zo uitzien:

De gebruiker stelt een juridische onderzoeksvraag.
Het systeem zoekt in een verzameling echte uitspraken.
De meest relevante passages en documenten worden opgehaald.
Het taalmodel krijgt deze bronnen samen met de vraag.
Het model formuleert een antwoord op basis van de opgehaalde informatie.

Het taalmodel hoeft daardoor niet zelf te bedenken welke uitspraak mogelijk relevant is. Het werkt met documenten die daadwerkelijk in de onderliggende bron aanwezig zijn.

Voor de gebruiker kan de interactie nog steeds aanvoelen als een gewone chatomgeving. Achter de schermen vindt echter eerst documentzoeking plaats voordat het model een antwoord produceert.

Hoe uitspraken technisch worden teruggevonden

Een RAG-systeem kan juridische documenten op verschillende manieren doorzoekbaar maken. Traditionele zoekmethoden kijken bijvoorbeeld naar exacte woorden, termen of metadata.

Moderne retrievalsystemen kunnen daarnaast zoeken op betekenis. Hiervoor worden teksten vaak omgezet in numerieke representaties, zogenaamde embeddings.

Daardoor hoeft een zoekvraag niet precies dezelfde woorden te bevatten als de uitspraak. Een systeem kan ook passages vinden die inhoudelijk overeenkomen met de vraag.

Bij jurisprudentie kan daarnaast metadata worden gebruikt, zoals:

rechterlijke instantie;
datum;
rechtsgebied;
ECLI-nummer;
onderwerp of trefwoord;
documenttype.

Een combinatie van semantische zoektechnieken en klassieke filters is vaak nuttiger dan uitsluitend één zoekmethode. Het doel is niet alleen veel documenten vinden, maar vooral de bronnen ophalen die relevant genoeg zijn om het uiteindelijke antwoord op te baseren.

RAG voorkomt hallucinaties niet automatisch

Het aansluiten van een taalmodel op een juridische databank maakt het systeem niet vanzelf foutloos.

Ook met RAG kan het model informatie verkeerd interpreteren, passages te ruim samenvatten of conclusies trekken die niet letterlijk uit de bron volgen. Daarnaast kan de zoekcomponent relevante jurisprudentie missen.

Daarom moet de architectuur niet alleen gericht zijn op goede antwoorden, maar ook op controleerbare antwoorden.

Een belangrijk uitgangspunt is dat de bron leidend moet zijn. Het taalmodel mag niet vrijelijk ontbrekende informatie aanvullen wanneer de retrievallaag geen voldoende onderbouwing vindt.

Maak brongrond verplicht

Een concrete maatregel is om het systeem alleen inhoudelijke juridische beweringen te laten doen wanneer daar een opgehaalde bron tegenover staat.

Het antwoord kan bijvoorbeeld per conclusie verwijzen naar de uitspraak waarop die conclusie is gebaseerd. Als het systeem geen geschikte bron vindt, moet het dat expliciet aangeven in plaats van alsnog een waarschijnlijk antwoord te genereren.

Daarmee verschuift het ontwerp van "geef zo goed mogelijk antwoord" naar "geef alleen antwoord voor zover het beschikbare bronmateriaal dit ondersteunt".

Dat is een belangrijk verschil. Een taalmodel is van nature ontworpen om tekst te produceren. Een juridisch zoeksysteem moet juist ook goed kunnen besluiten om iets niet te zeggen.

Laat verwijzingen naar de echte uitspraak leiden

Een AI-systeem voor jurisprudentieonderzoek moet een bronverwijzing niet alleen als tekst tonen. De verwijzing moet bij voorkeur gekoppeld zijn aan het echte brondocument.

Een gebruiker moet vanuit het antwoord kunnen doorklikken naar de betreffende uitspraak en zelf controleren:

of het ECLI-nummer klopt;
of de uitspraak daadwerkelijk bestaat;
of de geciteerde passage correct is;
of de context van de passage overeenkomt met de samenvatting;
of de uitspraak werkelijk relevant is voor de onderzoeksvraag.

Hiermee wordt AI niet de eindautoriteit, maar een interface bovenop het bronmateriaal. Dat is een veel veiliger uitgangspunt voor juridisch onderzoek dan een systeem waarbij alleen een gegenereerde samenvatting zichtbaar is.

Laat het model weigeren wanneer geen bron wordt gevonden

Een van de belangrijkste veiligheidsmechanismen is waarschijnlijk ook een van de eenvoudigste: het model moet mogen weigeren.

Wanneer de retrievallaag geen relevante uitspraak kan vinden, hoort het antwoord bijvoorbeeld te zijn dat er op basis van de beschikbare bronnen geen onderbouwd antwoord kan worden gegeven.

Dat is functioneel anders dan een traditioneel taalmodel. Zo'n model probeert meestal toch een behulpzaam antwoord te formuleren. Voor jurisprudentieonderzoek is dat gedrag juist ongewenst: geen bron gevonden betekent niet dat het model zelf een mogelijke uitspraak moet reconstrueren.

Een goed ingericht systeem behandelt onzekerheid daarom als onderdeel van het antwoord.

Welke controles verkleinen het risico verder?

Naast bronverwijzingen en verplichte retrieval zijn aanvullende controles mogelijk. Denk bijvoorbeeld aan:

alleen documenten uit vooraf goedgekeurde juridische bronnen indexeren;
ECLI-nummers rechtstreeks uit documentmetadata halen in plaats van door het taalmodel laten genereren;
citaten rechtstreeks uit de bronpassage weergeven;
controleren of iedere genoemde uitspraak daadwerkelijk in de zoekresultaten voorkomt;
duidelijk onderscheid maken tussen brontekst, samenvatting en interpretatie;
antwoorden blokkeren wanneer onvoldoende bronmateriaal beschikbaar is.

Ook logging kan belangrijk zijn. Wanneer wordt vastgelegd welke documenten voor een antwoord zijn opgehaald, kan later worden gereconstrueerd waarop het systeem zijn antwoord heeft gebaseerd. Dat maakt fouten beter onderzoekbaar en het systeem beter controleerbaar.

AI als zoek- en analysetool, niet als bron

De nuttigste rol van AI bij jurisprudentieonderzoek ligt daarom niet in het vervangen van juridische bronnen. AI kan helpen om grote hoeveelheden tekst sneller te doorzoeken, relevante passages te vinden, uitspraken samen te vatten en overeenkomsten of verschillen zichtbaar te maken.

Maar de onderliggende uitspraak blijft de bron.

Dat onderscheid is essentieel. Zodra een gebruiker een door AI gegenereerde verwijzing als zelfstandige juridische bron gaat behandelen, ontstaat opnieuw hetzelfde risico waarvoor RAG juist bedoeld is.

Conclusie

AI kan jurisprudentie betrouwbaar doorzoeken als het systeem wordt gedwongen om antwoorden aan echte uitspraken te koppelen. RAG helpt daarbij door eerst relevante bronnen op te halen en pas daarna tekst te genereren. Verplichte bronverwijzingen, links naar de oorspronkelijke uitspraak en weigeren wanneer geen bron wordt gevonden, zijn daarbij belangrijker dan alleen een krachtiger taalmodel. Voor kantoren die dit in de praktijk willen inrichten, is dat precies de aanpak achter AI in de juridische praktijk.