Quantisatie uitgelegd: hoeveel kwaliteit lever je in voor snelheid?

Quantisatie slaat de gewichten van een AI-model met minder bits op. Daardoor gebruikt het model minder geheugen en draait het vaak sneller. Dat kan grotere modellen bruikbaar maken op hardware met beperkte capaciteit. De keerzijde is dat de opgeslagen waarden minder precies zijn.

Hoeveel verschil dat in de praktijk maakt, hangt af van het model, de taak en de mate van quantisatie. Een licht gequantiseerd model kan op jouw vragen nauwelijks merkbaar veranderen; bij zwaardere quantisatie kunnen antwoorden aan kwaliteit verliezen. Test daarom met je eigen vragen voordat je een model kiest.

Wat gebeurt er bij quantisatie?

Een model bestaat onder meer uit gewichten: waarden die tijdens de training zijn aangepast en samen bepalen hoe het model informatie verwerkt. Je kunt die waarden zien als instellingen met een bepaalde nauwkeurigheid. Bij quantisatie worden ze opgeslagen in een compactere vorm, met minder bits om verschillen tussen waarden weer te geven.

Dat is vergelijkbaar met een afbeelding opslaan met minder kleurnuances. Het bestand wordt kleiner, maar subtiele verschillen kunnen verdwijnen. Bij een model blijft de berekening meestal herkenbaar, maar sommige gewichten worden afgerond of anders weergegeven. De gevolgen zijn niet voor elke taak hetzelfde: een kleine verandering in interne waarden hoeft niet altijd tot een zichtbaar slechter antwoord te leiden.

Quantisatie is iets anders dan een model opnieuw trainen. Meestal gaat het om een bestaande modelversie waarvan de gewichten compacter worden opgeslagen. De precieze methode kan per model en software verschillen. Kijk dus naar de documentatie van het model en de manier waarop je het uitvoert.

Waarom bespaart quantisatie geheugen?

Gewichten nemen geheugenruimte in. Als je ze met minder bits kunt opslaan, past dezelfde set gewichten in minder geheugen. Dat kan verschil maken wanneer je model op een laptop, werkstation of server met beperkte capaciteit draait. Soms kun je daardoor een groter model gebruiken dan zonder quantisatie mogelijk zou zijn.

Minder geheugengebruik kan ook helpen om meer ruimte over te houden voor andere onderdelen, zoals de invoer, de gegenereerde tekst en de context die het model tijdens een gesprek bewaart. De totale geheugenbehoefte hangt echter van meer af dan alleen de gewichten. Denk aan de gekozen contextlengte, de uitvoersoftware en de hardware.

Quantisatie kan de snelheid verhogen, maar dat is geen garantie. De winst hangt af van de hardware en van de ondersteuning in de software. Soms vormt de berekening de beperking; in andere situaties spelen geheugenbandbreedte of andere onderdelen van de uitvoering een grotere rol. Lees meer over de afwegingen in hardware voor lokale AI.

Welke kwaliteit kan verloren gaan?

Een gequantiseerd model kan antwoorden geven die minder genuanceerd, minder samenhangend of minder precies zijn. Dat valt bijvoorbeeld op bij vragen met meerdere stappen, lange redeneringen of kleine verschillen tussen vergelijkbare begrippen. Ook de Nederlandse taalkwaliteit kan veranderen: woordkeuze, grammatica en toon zijn afhankelijk van het model en de taak.

Gestructureerde uitvoer is een ander aandachtspunt. Als je model JSON, vaste velden of een bepaald formaat moet produceren, kan quantisatie invloed hebben op de mate waarin het zich aan die instructies houdt. Dat betekent niet dat ieder gequantiseerd model fouten maakt. Het betekent wel dat je deze eigenschap afzonderlijk moet controleren als je toepassing ervan afhankelijk is.

Het effect hangt samen met de mate van quantisatie. Grofweg geldt: bij lichte quantisatie blijft er meer precisie behouden, terwijl zware quantisatie de opslag verder verkleint en het risico op merkbaar kwaliteitsverlies vergroot. Dit is geen vaste schaal die voor ieder model dezelfde uitkomst voorspelt. Vergelijkbare instellingen kunnen per model anders uitpakken.

Een groter model of een kleiner model?

Een groter model dat zwaar gequantiseerd is, kan op sommige taken beter presteren dan een kleiner model met lichte quantisatie. Maar je kunt dat niet vooraf als algemene regel aannemen. Het grotere model kan bijvoorbeeld sterker zijn in bepaalde soorten vragen, terwijl de zwaardere quantisatie juist meer invloed heeft op de taak die jij uitvoert.

Vergelijk modellen daarom met dezelfde invoer, instellingen en beoordelingscriteria. Test de taken waarvoor je het model werkelijk wilt gebruiken: bijvoorbeeld Nederlandse klantvragen, samenvattingen of antwoorden in een vast formaat. Een algemene modelscore vertelt niet automatisch hoe een model op jouw eigen materiaal reageert.

De lokale uitvoering speelt ook mee. Dezelfde modelbestanden kunnen zich anders gedragen afhankelijk van de runtime en de hardware. Lees hoe Ollama, vLLM en llama.cpp verschillen wanneer je de uitvoeromgeving aan het vergelijken bent. Een overzicht van lokale modellen vind je op lokale modellen vergeleken.

Test kwaliteit en snelheid op je eigen vragen

Maak een vaste set voorbeeldvragen die samen je gebruik weerspiegelt. Neem makkelijke en lastige vragen op, voorbeelden met Nederlandse tekst, taken met meerdere stappen en opdrachten waarbij het model een strikt formaat moet volgen. Gebruik dezelfde set voor elk model en iedere quantisatieversie die je wilt vergelijken.

Beoordeel de antwoorden aan de hand van vooraf bepaalde criteria. Kijk bijvoorbeeld of de inhoud klopt, belangrijke nuance behouden blijft, het antwoord begrijpelijk is en het gevraagde formaat wordt gevolgd. Als antwoorden gecontroleerd moeten worden door een medewerker, kijk dan ook of de verschillen in kwaliteit invloed hebben op die controle.

Meet daarnaast de snelheid op de manier die voor jouw toepassing telt. Dat kan de tijd tot het eerste antwoord zijn, de tijd voor een volledige reactie of hoe vlot een reeks verzoeken achter elkaar wordt afgehandeld. Noteer ook welke hardware en instellingen je gebruikt. Zo vergelijk je de modellen onder dezelfde omstandigheden. Herhaal de test als kleine verschillen in uitvoering je resultaten kunnen beïnvloeden.

Kies op basis van je toepassing

Een praktische keuze begint bij de kwaliteit die je minimaal nodig hebt. Als een fout antwoord grote gevolgen heeft, geef je gecontroleerde kwaliteit en menselijke beoordeling meer gewicht. Bij een interne toepassing met eenvoudige vragen kan een compactere, snellere variant voldoende zijn, zolang de vaste testset dat bevestigt.

• Kies lichte quantisatie als je zoveel mogelijk kwaliteit wilt behouden en je hardware genoeg geheugen heeft.
• Test zwaardere quantisatie als geheugen of snelheid een knelpunt is en je toepassing eventuele kwaliteitsverschillen aankan.
• Vergelijk grotere en kleinere modellen op dezelfde vaste set, inclusief de concrete taken die je wilt uitvoeren.
• Controleer snelheid én kwaliteit op de hardware en met de software waarmee je het model werkelijk gaat gebruiken.
• Herhaal de beoordeling wanneer je de modelversie, quantisatie, instellingen of uitvoeromgeving verandert.

Je levert bij quantisatie precisie in, maar de praktische impact is afhankelijk van het model en het gebruik. De beste keuze is daarom niet automatisch de kleinste of snelste variant. Kies de lichtste variant die binnen jouw geheugen- en snelheidsgrenzen blijft en de antwoorden op je eigen voorbeeldvragen goed genoeg maakt.