Waarom geeft mijn AI-assistent op dezelfde vraag twee antwoorden?

Waarom hetzelfde model anders kan antwoorden

Een taalmodel kiest tijdens het schrijven woord voor woord uit meerdere waarschijnlijke mogelijkheden. Het berekent welke woorden of woorddelen goed passen bij de tekst tot dan toe en bouwt daaruit een antwoord op. Daardoor kan dezelfde vraag een andere formulering, volgorde of nadruk opleveren. Soms verandert ook de inhoudelijke uitkomst. Dat betekent niet automatisch dat het model willekeurig werkt, maar wel dat je niet elk antwoord als een vaste reproductie van een eerder antwoord kunt beschouwen.

De variatie komt niet alleen uit het model zelf. Een ander eerder bericht, een gewijzigde systeeminstructie, andere documenten uit een kennisbank of een modelupdate kunnen de uitkomst beïnvloeden. Je kunt verschillen beperken met een lagere variatie-instelling, vaste instructies, vaste bronnen en herhaalbare tests. Volledig identieke antwoorden kun je daarmee niet garanderen. Dat onderscheid is belangrijk: een assistent kan bruikbaar en betrouwbaar zijn zonder elk antwoord woordelijk te herhalen.

De rol van kans en variatie-instellingen

Bij het genereren van tekst weegt het model verschillende mogelijke vervolgen tegen elkaar af. Een instelling die vaak temperatuur wordt genoemd, beïnvloedt hoe voorspelbaar die keuze is. In gewone taal: een lagere instelling laat het model meestal vaker kiezen voor de meest waarschijnlijke vervolgstappen. Een hogere instelling geeft meer ruimte aan minder voor de hand liggende formuleringen. De precieze werking en beschikbare instellingen kunnen per systeem verschillen.

Een lagere variatie kan helpen wanneer je een antwoord in een vaste vorm wilt, zoals een samenvatting met vaste velden of een antwoord op basis van een handleiding. Het maakt het model echter niet onfeilbaar en lost geen onduidelijke vraag of tegenstrijdige bron op. Ook bij dezelfde instelling kunnen kleine verschillen blijven bestaan, bijvoorbeeld doordat de dienst andere context toevoegt of het model op de achtergrond is aangepast.

Bij creatieve opdrachten kan variatie juist gewenst zijn. Als je ideeën, alternatieve koppen of verschillende invalshoeken zoekt, kan een minder voorspelbare uitkomst nuttig zijn. Kies de instelling dus op basis van het doel: consistentie voor herhaalbaar werk, meer speelruimte voor verkenning.

Context en opgehaalde documenten veranderen het antwoord

Een assistent reageert niet altijd alleen op de laatste vraag. Eerdere berichten in het gesprek en vaste systeeminstructies kunnen bepalen hoe hij die vraag interpreteert. Als je eerder om korte antwoorden hebt gevraagd, kan dat de stijl beïnvloeden. Een systeeminstructie kan voorschrijven dat de assistent alleen informatie uit bepaalde bronnen gebruikt. Verandert de context, dan kan ook het antwoord veranderen, zelfs als je laatste vraag hetzelfde blijft.

Bij RAG haalt een systeem relevante passages uit documenten op en geeft die aan het model mee. Een kleine wijziging in de vraag kan andere passages opleveren. Ook kan de rangschikking of volgorde van passages verschillen, of kan een document zijn bijgewerkt. Het model kan daardoor andere informatie benadrukken of een andere conclusie trekken. Wil je begrijpen hoe dit werkt, lees dan wat RAG is. Voor het beoordelen van de uitkomsten is RAG-kwaliteit meten relevant. En wie wil weten hoe je onbewezen antwoorden beperkt, vindt aandachtspunten in RAG zonder hallucinaties.

Controleer bij wisselende antwoorden daarom niet alleen de prompt. Kijk ook welke passages zijn opgehaald, of de documenten actueel zijn en of filters dezelfde bronselectie opleveren. Als het systeem andere bronnen gebruikt, kunnen verschillende antwoorden logisch zijn, ook wanneer de vraag identiek is.

Modelupdates en versies vastzetten

Een aanbieder kan een model aanpassen of een nieuwere versie inzetten. Dat kan invloed hebben op formulering, instructievolging en interpretatie, zonder dat jij je vraag hebt veranderd. Soms is een update zichtbaar; soms beheert de aanbieder het model voor je en wordt een wijziging minder duidelijk. Welke informatie beschikbaar is, hangt af van de dienst.

Voor toepassingen waar vergelijkbare invoer vergelijkbare uitvoer moet opleveren, helpt het om de gebruikte modelversie vast te leggen of, als dat niet kan, updates te volgen en opnieuw te testen. Noteer ook de relevante instructies, instellingen en bronversies. Anders is achteraf moeilijk vast te stellen waarom antwoorden veranderden. Een wijziging betekent niet meteen dat de kwaliteit is verslechterd: controleer eerst wat er precies anders is en of dat uitmaakt voor de taak.

Zo maak je antwoorden consistenter

Begin met heldere instructies. Vertel de assistent welk doel het antwoord dient, welke bronnen leidend zijn, wat hij moet doen als informatie ontbreekt en in welke vorm hij moet antwoorden. Vraag bijvoorbeeld om een vast aantal velden of om een korte uitleg met bronverwijzingen. Gestructureerde uitvoer maakt verschillen sneller zichtbaar, al garandeert een vast format geen vaste inhoud.

Gebruik waar mogelijk dezelfde invoer, dezelfde context en dezelfde bronset. Voeg voorbeelden toe van een goed antwoord en van hoe de assistent met ontbrekende of tegenstrijdige informatie moet omgaan. Stel de variatie-instelling lager in wanneer dat past bij de toepassing. Beperk tegelijk onnodige context en controleer of RAG-filters en documentversies stabiel zijn. Deze maatregelen werken samen; één instelling maakt een onduidelijk proces niet vanzelf consistent.

Test verschillen en leg verwachtingen uit

Stel dezelfde vraag meerdere keren onder dezelfde omstandigheden en leg de antwoorden naast elkaar. Log daarbij niet alleen de tekst, maar ook de vraag, relevante gesprekscontext, modelversie, instellingen en opgehaalde passages als die beschikbaar zijn. Zo kun je zien of het verschil alleen in formulering zit, of dat bronnen en conclusies uiteenlopen. Beoordeel variatie tegen vooraf gekozen criteria, zoals feitelijke juistheid, volledigheid, brongebruik en bruikbaarheid. Test ook vragen waarop de bron geen duidelijk antwoord geeft.

Een afwijking kan een nuttig signaal zijn. Misschien is de vraag dubbelzinnig, spreken documenten elkaar tegen of ontbreekt er een duidelijke instructie over welke bron voorrang heeft. Maak in dat geval de vraag of bronkeuze explicieter. Voor agenten en processen met meerdere stappen zijn vaste testscenario’s eveneens nuttig; zie hoe je een AI-agent test.

Leg gebruikers uit wat ze mogen verwachten. Vertel dat antwoorden kunnen verschillen, dat belangrijke informatie gecontroleerd moet worden en dat bronverwijzingen helpen om uitspraken na te gaan. Bij een creatieve assistent is een andere formulering vaak prima. Bij beleid, technische instructies of besluiten kan inhoudelijke afwijking aanleiding zijn voor menselijke controle.

Korte checklist

• Vraag en context: zijn de instructies, eerdere berichten en invoer gelijk?
• Model: is de gebruikte versie bekend en zijn updates bijgehouden?
• Instellingen: past de variatie bij de taak?
• Bronnen: zijn dezelfde actuele documenten en passages gebruikt?
• Test: heb je herhaalde antwoorden gelogd en op inhoud beoordeeld?
• Verwachtingen: weten gebruikers wanneer ze antwoorden moeten controleren?