Metadata-filters: zoeken binnen de juiste afdeling, periode of dossier

Metadata-filters beperken het zoeken in een RAG-systeem tot documenten die passen bij de afdeling, periode, documentsoort of het dossier waar de vraag over gaat. Zo verklein je de kans dat het model informatie uit een verkeerd of verouderd document gebruikt. Dat maakt antwoorden doorgaans preciezer en kan helpen voorkomen dat informatie buiten de juiste context wordt opgehaald.

Een filter werkt alleen goed als metadata klopt en de zoekvraag voldoende context biedt om de juiste selectie te maken. Toegangsrechten moeten bovendien bij het ophalen worden afgedwongen; een filter dat ontbreekt of verkeerd wordt toegepast, kan relevante informatie uitsluiten of gevoelige informatie zichtbaar maken. Metadata-filters zijn dus een belangrijk onderdeel van RAG, maar geen vervanging voor goede bronkwaliteit, autorisatie en controle.

Wat metadata toevoegt aan een zoekopdracht

Metadata is informatie over een document, niet de inhoud waarop iemand zelf antwoord zoekt. Denk aan de bron, datum, afdeling, documentsoort, versie, status en het toegangsniveau. Een document kan bijvoorbeeld zijn gemarkeerd als afkomstig van de afdeling personeelszaken, behorend bij een bepaalde periode en aangemerkt als geldend beleid.

Bij het inlezen van documenten worden zulke kenmerken vastgelegd, vaak samen met de tekstfragmenten die het systeem doorzoekt. Dat onderscheid is belangrijk: semantisch zoeken vindt tekst die inhoudelijk lijkt op de vraag, terwijl metadata-filtering de verzameling documenten afbakent waarbinnen het systeem zoekt. Hoe je documenten opdeelt in fragmenten speelt daarbij ook mee; zie chunking uitgelegd.

Waarom semantisch zoeken zonder filter kan missen

Een semantische zoekmachine zoekt naar passages die qua betekenis lijken op de vraag. Dat is handig als de gebruiker niet precies dezelfde woorden gebruikt als in het document. Maar gelijkenis zegt niet automatisch dat een passage actueel, van toepassing of afkomstig van de juiste afdeling is.

Een oud beleidsdocument kan bijvoorbeeld vrijwel dezelfde formulering bevatten als een huidig document. Ook kunnen twee dossiers vergelijkbare termen gebruiken. Zonder passende afbakening kan een van die passages hoog in de zoekresultaten komen en als context aan het model worden meegegeven. Het model kan dan een overtuigend antwoord formuleren op basis van informatie die niet voor de vraag geldt.

Een filter verkleint die kans door eerst te bepalen welke documenten mogen meedoen. Het maakt zoeken niet onfeilbaar: onjuiste metadata of een verkeerd gekozen filter kan juist het juiste document uitsluiten. De kwaliteit hangt daarom samen met de bronnen, de zoekinstellingen en de manier waarop antwoorden worden beoordeeld. Zie ook RAG-kwaliteit meten.

Vooraf filteren of achteraf selecteren

Bij vooraf filteren wordt de zoekruimte begrensd voordat semantische overeenkomsten worden opgehaald. Als iemand vraagt naar het huidige declaratiebeleid van een afdeling, kan het systeem eerst documenten selecteren die bij die afdeling horen en de status ‘geldend’ hebben. Vervolgens zoekt het binnen die selectie naar relevante passages.

Bij achteraf filteren zoekt het systeem eerst breed en probeert het daarna resultaten weg te laten die niet aan de criteria voldoen. Dat kan bruikbaar zijn als sommige criteria pas na het zoeken duidelijk worden, maar het heeft een nadeel: het systeem kan al irrelevante resultaten hebben opgehaald, terwijl het juiste document buiten de eerste selectie viel. Bij toegangsrechten hoort achteraf filteren niet de enige waarborg te zijn. Beperk wat iemand mag ophalen al tijdens de zoekopdracht, en controleer rechten ook op het moment dat informatie wordt getoond.

Filteren kan resultaten preciezer maken, maar ook te weinig context opleveren als de selectie te smal is. Een systeem moet kunnen melden dat er geen passende bron is gevonden of om verduidelijking vragen. Dat is betrouwbaarder dan een antwoord laten invullen op basis van documenten die slechts ongeveer passen. Voor de bredere werking van zo’n systeem, zie RAG uitgelegd.

Metadata vullen, actualiseren en beveiligen

Metadata begint bij het inleesproces. Neem kenmerken waar mogelijk over uit betrouwbare bronsystemen, zoals een documentbeheeromgeving, en leg vast welke waarden zijn toegestaan. Als afdelingen dezelfde naam op verschillende manieren schrijven, kunnen filters documenten missen. Ontbrekende, tegenstrijdige of handmatig verkeerd ingevulde waarden veroorzaken vergelijkbare problemen.

Maak ook duidelijk wie verantwoordelijk is voor het bijwerken van metadata. Een document kan veranderen van concept naar goedgekeurd, of van geldig naar vervallen. Als die status niet wordt aangepast, kan een oud document actief blijven in zoekresultaten. Controleer daarom bij inlezen en wijzigen of verplichte velden aanwezig zijn en of de waarden passen bij de bron.

Toegangsniveau vraagt extra aandacht. Een document mag alleen worden opgehaald voor iemand die het mag inzien. Baseer die beslissing op actuele identiteit en toegangsrechten, niet uitsluitend op een tekstlabel dat bij het document is opgeslagen. Een toegangsfout in de zoeklaag kan leiden tot het tonen of samenvatten van informatie voor een onbevoegde gebruiker.

Datum, versie en de betekenis van de vraag

Een filter op datum of status helpt onderscheid maken tussen geldende en vervallen informatie. Toch betekent ‘nieuwste’ niet altijd ‘van toepassing’: een nieuwere bijlage kan bijvoorbeeld alleen voor een specifieke afdeling of periode gelden. Leg daarom vast wat datumvelden betekenen, zoals publicatiedatum, ingangsdatum of laatste wijziging, en gebruik ze consequent.

Het systeem kan filters afleiden uit de vraag als de gebruiker afdeling, periode of dossier noemt. Maar vragen zijn vaak onvolledig. “Wat is het beleid?” zegt niet vanzelf welk beleid of welke versie bedoeld wordt. Een systeem dat dan stilzwijgend een afdeling of datum kiest, kan een verkeerde selectie maken. Laat het in zo’n geval om verduidelijking vragen, of gebruik alleen een vooraf vastgelegde standaard als die voor deze toepassing verantwoord is. Houd bij het ontwerp rekening met hoe RAG-bronnen worden geselecteerd en hoe antwoorden worden onderbouwd.

Testen en checklist

Test filters met voorbeeldvragen uit verschillende situaties: een vraag met duidelijke afdeling en periode, een vraag zonder dossier, een verwijzing naar een oude versie en een gebruiker met beperkte toegang. Controleer welke documenten en passages zijn opgehaald, welke zijn uitgesloten en of het antwoord aangeeft wanneer passende bronnen ontbreken. Herhaal de tests wanneer de metadata, bronbestanden of filterregels veranderen.

Gebruik deze checklist bij ontwerp en beheer:

• Leg vast welke metadata nodig is, zoals bron, afdeling, documentsoort, datum, versie, status en toegangsniveau.
• Gebruik vaste waarden en controleer ontbrekende of tegenstrijdige metadata tijdens het inlezen.
• Filter op actuele toegangsrechten voordat beschermde inhoud wordt opgehaald of getoond.
• Maak onderscheid tussen geldende en vervallen documenten en beschrijf wat datumvelden betekenen.
• Vraag om verduidelijking als de vraag niet genoeg context biedt voor een betrouwbare filterkeuze.
• Test of juiste bronnen worden gevonden én onjuiste of onbevoegde bronnen buiten de resultaten blijven.