RAG, finetuning of lange context: wat kies je wanneer?

Voor kennis die verandert of die je met bronnen wilt kunnen onderbouwen, kies je meestal RAG. Daarbij zoekt het systeem relevante informatie op en geeft die mee aan het model, zodat het antwoord daarop kan steunen. Finetuning past beter als je een vaste stijl, indeling of taak wilt aanleren. Het is geen handige manier om veranderende feiten bij te houden.

Een lange context is geschikt als je voor een vraag een beperkte hoeveelheid tekst rechtstreeks aan het model wilt meegeven. Dat kan bijvoorbeeld een rapport zijn dat je wilt laten samenvatten. De keuze hangt af van wat je wilt veranderen: de kennis waaruit het model put, het gedrag van het model of de informatie die het voor één vraag ziet. Vaak werkt een combinatie het best.

Wat doen de drie opties?

RAG haalt informatie op uit een externe kennisbron, zoals handleidingen, interne documenten of webpagina’s. Een zoekstap selecteert passages die bij de vraag passen. Het model krijgt die passages als context en formuleert daarmee een antwoord. Omdat de bron losstaat van het model, kun je informatie bijwerken door de kennisbron te beheren. Meer uitleg staat in RAG uitgelegd.

Finetuning past het model aan met voorbeelden, zodat het bepaalde patronen vaker volgt. Denk aan een vaste toon, een gewenste antwoordstructuur of een terugkerende classificatietaak. Het model leert daarbij gedrag en patronen uit voorbeelden; het wordt geen betrouwbare, doorzoekbare administratie van actuele feiten.

Lange context betekent dat je relatief veel tekst direct in de invoer van één vraag opneemt. Het model kan die tekst gebruiken zonder dat er eerst een aparte zoekstap nodig is. De documenten blijven daarbij buiten het model: je levert ze opnieuw aan wanneer je ze nodig hebt.

Feiten, gedrag en actualiteit

Vraag jezelf eerst af of het probleem over feiten of gedrag gaat. Moet de assistent weten wat de huidige versie van een procedure is, of in welke interne documenten een antwoord staat? Dan ligt RAG voor de hand. Kun je de informatie aanpassen zonder het model opnieuw te trainen, dan blijft het beheer doorgaans overzichtelijker. Bij RAG kun je bovendien passages uit de bron laten tonen, zodat de gebruiker het antwoord kan controleren. Dat helpt, maar garandeert niet dat iedere bron goed is opgehaald of juist wordt uitgelegd.

Wil je dat antwoorden steeds dezelfde toon, indeling of werkwijze volgen, dan kan finetuning helpen. Je kunt ook eerst proberen dit met instructies en goede voorbeelden in de prompt te bereiken. Finetuning vraagt om passende trainingsvoorbeelden, evaluatie en beheer van modelversies. Nieuwe feiten toevoegen aan trainingsmateriaal maakt die feiten niet automatisch actueel of eenvoudig te corrigeren. Lees ook waarom je bij eigen modeltraining met RAG kunt beginnen.

Wanneer is lange context genoeg?

Lange context is praktisch als je per vraag een afgebakende set teksten aanlevert: bijvoorbeeld één contract, een beleidsstuk of een klein dossier. Je hoeft dan niet meteen een zoekindex op te zetten. De gebruiker kan ook bepalen welke stukken het model moet bekijken. Voor een eenmalige analyse of een eenvoudige proefopstelling kan dat voldoende zijn.

De aanpak loopt tegen grenzen aan wanneer de hoeveelheid tekst groeit, documenten elkaar tegenspreken of je steeds de juiste passage uit een grotere collectie moet vinden. Het model kan relevante details missen, en lange invoer kan de verwerking zwaarder of trager maken. Ook moet je nadenken over welke informatie je bij elke vraag meestuurt en hoe je die actueel houdt. Hoeveel documenten RAG zinvol maken, hangt af van de inhoud, de zoekbehoefte en het gebruik; zie hoeveel documenten je voor RAG nodig hebt.

Kosten, beheer en snelheid

Geen van de drie opties is altijd het goedkoopst of snelst. Lange context kan eenvoudig beginnen, maar veel tekst meesturen bij iedere vraag vraagt meer verwerking. RAG vereist werk aan documentinname, opschoning, zoekkwaliteit, toegangsrechten en bronverwijzingen. Daar staat tegenover dat je alleen relevante passages kunt ophalen in plaats van steeds een hele collectie mee te geven.

Finetuning vraagt om goede voorbeelden, een trainingsproces en controles om te zien of het gewenste gedrag ook echt verbetert. Daarna moet je de aangepaste versie blijven beheren. Welke keuze sneller aanvoelt, hangt onder meer af van de omvang van de context, de zoekstap, het model en de gebruikte infrastructuur. Test daarom met representatieve vragen en documenten uit de praktijk.

Combineren en kiezen

De opties sluiten elkaar niet uit. Je kunt RAG gebruiken voor actuele, citeerbare feiten en finetuning voor een herkenbare antwoordstructuur. Lange context kan daarnaast nuttig zijn om een specifiek dossier of tijdelijk document mee te geven. Houd de verantwoordelijkheden duidelijk: RAG levert bronnen, finetuning stuurt gedrag en context geeft informatie voor de huidige vraag.

Een eenvoudige beslisboom in woorden: veranderen de feiten of moet je bronnen tonen, begin dan met RAG. Gaat het vooral om vaste stijl, structuur of een herhaalbare taak, probeer eerst instructies en overweeg daarna finetuning. Heeft de vraag betrekking op een beperkte set tekst die je direct kunt aanleveren, gebruik dan lange context. Zijn meerdere behoeften aanwezig, combineer de aanpakken en toets of iedere stap echt nodig is.

Korte checklist

• Veranderen de feiten, en moet de gebruiker de bron kunnen controleren?
• Gaat het om kennis ophalen, gewenst gedrag aanleren of tekst voor één vraag meegeven?
• Is de hoeveelheid tekst beperkt genoeg om rechtstreeks als context aan te leveren?
• Kun je bronnen, toegangsrechten en versies zorgvuldig beheren?
• Heb je de aanpak getest met echte vragen, inclusief vragen waarop de bron geen antwoord geeft?