Modeldistillatie is een trainingstechniek waarbij een kleiner student-model leert een groter of krachtiger teacher-model na te bootsen. Door het uitvoergedrag van de teacher over te brengen naar een compacte architectuur verlagen teams de inferentiekosten en latentie, terwijl veel van de capaciteiten van de teacher voor specifieke productietaken behouden blijven.
Wat is modeldistillatie en hoe werkt de teacher-student-opzet?
Modeldistillatie (model distillation), ook kennisdistillatie (knowledge distillation) genoemd, is een trainingsproces dat gedrag van een groot, krachtig teacher-model overdraagt aan een kleiner of goedkoper student-model. In plaats van het compacte model uitsluitend te trainen op ruwe, door mensen geannoteerde voorbeelden, gebruikt het team het teacher-model om trainingssignalen te genereren die de updates van de student sturen. Het doel is een kleiner model dat sneller werkt en minder per verzoek kost, maar veel van het gedrag van de teacher behoudt.
In een teacher-student-werkwijze is de teacher al getraind en blijft deze ongewijzigd terwijl hij doelwaarden voor een dataset produceert. De student werkt zijn gewichten bij om overeen te komen met de uitvoer van de teacher. Teacher- en student-modellen hoeven niet dezelfde interne architectuur te hebben. Een team kan een grote, rekenintensieve teacher combineren met een veel lichtere student die geschikt is voor snelle inzet.
Bij LLM-distillatie verschuift het trainingssignaal van eenvoudige klasselabels naar taalgedrag. Een taalmodel distilleren betekent vaak dat de student wordt getraind op tekst die de teacher heeft gegenereerd, op voorkeurslabels die meerdere antwoorden rangschikken, of op kansverdelingen op tokenniveau wanneer de teacher die kansen beschikbaar stelt. Latere distillatievarianten trainen de student ook om tussenliggende kenmerken of redeneersporen van de teacher na te bootsen, in plaats van uitsluitend te vertrouwen op door mensen gelabelde datasets.
Hoe hebben zachte doelwaarden en verborgen kennis modeldistillatie op gang gebracht?
De moderne formulering van kennisdistillatie komt uit het artikel Distilling the Knowledge in a Neural Network uit 2015 van Geoffrey Hinton, Oriol Vinyals en Jeff Dean. Daarvoor werden classificatiemodellen met supervisie doorgaans getraind op harde labels, waarbij de juiste klasse een score van één krijgt en elke andere klasse nul. Die doelwaarde met één label vertelt een model wat het juiste antwoord is, maar verbergt hoe de teacher alle overige opties beoordeelt.
Hinton, Vinyals en Dean lieten zien dat een getrainde teacher zachte doelwaarden produceert: een volledige kansverdeling over alle mogelijke klassen voor elke invoer. Wanneer een beeldclassificatiemodel een foto van een pick-up beoordeelt, geeft het een hoge kans aan vrachtwagen, een kleine kans groter dan nul aan auto en vrijwel nul kans aan wortel. Die kleine restkansen bevatten wat de auteurs ‘verborgen kennis’ noemden over de onderlinge relaties tussen klassen.
Een student trainen op zachte doelwaarden geeft die informatie over structurele overeenkomsten door en biedt het kleinere model per voorbeeld veel rijkere supervisie dan alleen een one-hot-label. Het artikel introduceert ook een temperatuurparameter die de uitvoerverdeling van de teacher tijdens distillatie afvlakt, zodat die secundaire kansen tijdens de training duidelijker naar voren komen. Omdat de student leert hoe de teacher zijn zekerheid over verwante antwoorden verdeelt, kan hij beter generaliseren dan een klein model dat vanaf nul uitsluitend met harde labels is getraind.
Modeldistillatie versus fine-tuning versus kwantisatie
Modeldistillatie, fine-tuning en kwantisatie worden vaak onder modeloptimalisatie geschaard, maar elke methode verandert een model op een andere manier. Een vergelijking van modeldistillatie met fine-tuning of gewichtscompressie verduidelijkt welk middel welk knelpunt oplost.
| Aanpak | Hoofddoel | Wat verandert | Wanneer gebruiken |
|---|---|---|---|
| Modeldistillatie | Het gedrag van een grote teacher overbrengen naar een kleiner, sneller model | Een afzonderlijk student-model wordt getraind om overeen te komen met de uitvoer of kansen van de teacher | Je hebt lagere latentie of kleinere hardware nodig en wilt gedrag behouden dat op dat van de teacher lijkt |
| Fine-tuning | Een bestaand model aanpassen aan een specifieke taak, domein of indeling | Gewichten van het doelmodel worden bijgewerkt met taakgegevens, terwijl de omvang meestal gelijk blijft | Een basismodel past al binnen je latentiebudget en moet worden gespecialiseerd voor een taak |
| Kwantisatie | Geheugengebruik verminderen en berekeningen met gewichten versnellen | De numerieke precisie van bestaande gewichten daalt, bijvoorbeeld van 16-bit naar 8-bit of 4-bit | Een model voldoet aan je nauwkeurigheidseisen en moet binnen strengere VRAM- of geheugenlimieten passen |
Fine-tuning zet de training van een bestaand model voort met taakspecifieke gegevens, zodat het eigen gedrag van dat model verandert, meestal zonder het aantal parameters te verkleinen. Distillatie heeft een ander doel: gedrag van een teacher overbrengen naar een ander, meestal kleiner model. Kwantisatie is evenmin distillatie, omdat kwantisatie de numerieke precisie van de gewichten van een al getraind model verlaagt in plaats van een afzonderlijke student te trainen om een teacher na te bootsen.
In dezelfde gesprekken komen ook pruning, sparsiteit, mixture-of-experts-architecturen (MoE) en retrieval-augmented generation (RAG) voor. Pruning, sparsiteit en MoE-ontwerpen veranderen de rekenbelasting of het aantal actieve parameters binnen een model, terwijl RAG tijdens inferentie externe documenten ophaalt in plaats van een teacher in een student te comprimeren. Als je nog kiest tussen trainen, aanpassen of een andere modelgrootte gebruiken, begin dan met onze gids over een AI-model kiezen.
Waarom distilleren teams taalmodellen?
Ontwikkelteams distilleren een taalmodel vooral om inferentiekosten en latentie te verlagen ten opzichte van het uitvoeren van een groot teacher-model voor elk verzoek. Een vlaggenschipmodel gebruiken voor miljoenen routinematige classificatie-, extractie- of schrijfaanroepen kost veel rekenkracht en verlengt de responstijd. Door die werklast te verplaatsen naar een gedistilleerde student die op het gedrag van de teacher is getraind, kan een toepassing sneller antwoorden op kleinere hardware of binnen strengere latentiebudgetten.
Kennis van wat een token in AI is helpt de factureringskant van die afweging te begrijpen: elke prompt en voltooiing verbruikt rekenkracht naar verhouding van het aantal tokens en de modelgrootte. Veelvoorkomend verkeer naar een compacte student verplaatsen verlaagt dus direct de kosten per verzoek. Teams die naast kleinere modellen meer manieren zoeken om kosten te beperken, kunnen dit combineren met de tactieken in onze gids over AI-API-kosten verlagen.
Bij mijn eigen beoordeling van AI-pijplijnen in productie beginnen teams zelden op de eerste dag met distillatie. De meeste beginnen met een grote teacher om de productkwaliteit te valideren en distilleren vervolgens hun eigen interne teacher tot een student voor productie zodra verkeerspatronen stabiel zijn. AI-laboratoria volgen hetzelfde patroon wanneer ze kleinere varianten van hun eigen modelfamilies uitbrengen: een zelfgebouwd of correct gelicentieerd model distilleren tot een kleinere student is een gangbare praktijk in productontwikkeling.
Wat zeggen de beleidsregels van OpenAI over modeldistillatie?
Het trainen van een student-model op uitvoer van een door een derde gehoste API valt onder de contracten van de aanbieder. De onderstaande samenvatting beschrijft gepubliceerd beleid per 16 november 2026, waaronder een update van de Usage Policies die is aangemerkt als ingaand op 20 november 2026, en is geen juridisch advies. Een eigen model distilleren, of een model waarvan de licentie training op de uitvoer toestaat, verschilt sterk van uitvoer uit een commerciële API halen in strijd met de voorwaarden.
Terms of Use en Usage Policies
Volgens de OpenAI Terms of Use is gebruikers de volgende activiteit verboden: ‘Uitvoer gebruiken om modellen te ontwikkelen die met OpenAI concurreren.’ Deze bepaling staat rechtstreeks in de beperkingen voor het gebruik door klanten van modeluitvoer die OpenAI-diensten teruggeven.
De pagina met de OpenAI Usage Policies vermeldt 20 november 2026 als ingangsdatum. Het bijgewerkte onderdeel over het trainen en ontwikkelen van modellen is dus een toekomstige regel die op 16 november 2026 nog niet van kracht is. Volgens de toekomstige beleidstekst op die pagina mogen gebruikers OpenAI-modellen of hun uitvoer niet gebruiken om trainingsmateriaal of -signalen te genereren, voor te bereiden, te selecteren of te leveren voor modellen die bedoeld zijn als alternatief of vervanging voor OpenAI-modellen of -diensten. Dit omvat trainingsgegevens, taken, beoordelingsrubrieken, omgevingen voor bekrachtigingsleren en trainingsfeedback zoals labels, scores, rangschikkingen, voorkeuren, beloningen of correcties. De toekomstige tekst vermeldt ook dat deze beperkingen geen gebruik verbieden dat uitdrukkelijk is toegestaan door de overeenkomst van een klant, waaronder een Permitted Exception onder de Services Agreement van OpenAI.
Handhaving tegen ongeoorloofde distillatiecampagnes
In een openbaar bericht met de titel Disrupting a coordinated model-distillation campaign omschreef OpenAI adversariële distillatie als ‘het systematische en ongeoorloofde gebruik van de uitvoer of redenering van een model om een ander model te helpen trainen, reproduceren of verbeteren’. OpenAI meldde accountmaatregelen en technische handhavingsmaatregelen tegen een gecoördineerde campagne die probeerde beschermde redeneringen uit zijn modellen te halen.
Ook andere aanbieders van gehoste modellen beperken het gebruik van API-uitvoer om concurrerende modellen te trainen. Omdat exacte toestemmingen, uitzonderingen voor bedrijven en licenties voor open gewichten per aanbieder en abonnement verschillen, moeten ontwikkelteams de actuele voorwaarden van elke gehoste API of modellicentie lezen voordat ze uitvoer voor een trainingspijplijn verzamelen.
Wat kan er misgaan met een gedistilleerd model?
Een gedistilleerd student-model kan in productie falen omdat het kopiëren van de uitvoer van een teacher naast sterke punten ook blinde vlekken overdraagt. Zelfs als een student op een beperkte benchmark overtuigend lijkt, treden na inzet drie terugkerende faalwijzen op:
- Overgenomen fouten en vooroordelen: omdat de student de uitvoer van de teacher als trainingswaarheid behandelt, kan hij feitelijke fouten, hallucinaties of systematische vooroordelen van de teacher leren en herhalen.
- Terugval buiten de distributie: overeenstemming met de definitieve antwoorden van de teacher op een zorgvuldig samengestelde trainingsset garandeert geen vergelijkbare betrouwbaarheid wanneer echte gebruikers onbekende, ruisachtige of buiten de distributie vallende invoer sturen.
- Hiaten in dekking en veiligheid: vaardigheden, randgevallen of veiligheidsgedrag die nooit in de distillatiedataset voorkomen, kunnen bij de student merkbaar achteruitgaan en hiaten achterlaten die de oorspronkelijke teacher veilig afhandelde.
Om deze faalwijzen te beperken zijn zorgvuldige dekking van de dataset en onafhankelijke evaluatie op echte randgevallen in productie nodig, in plaats van aan te nemen dat de student elke eigenschap van de teacher heeft overgenomen.
FAQ
Deze veelgestelde vragen vatten samen hoe modeldistillatie werkt, wanneer teams die gebruiken en welke regels gelden voor uitvoer van gehoste modellen.
Is modeldistillatie hetzelfde als fine-tuning?
Modeldistillatie en fine-tuning dienen verschillende doelen. Fine-tuning werkt de gewichten van een bestaand model bij, meestal met behoud van hetzelfde aantal parameters, zodat het model zich aanpast aan een specifieke taak of stijl. Modeldistillatie brengt gedrag van een groter teacher-model over naar een afzonderlijk, doorgaans kleiner student-model, zodat teams sneller en goedkoper inferentie kunnen uitvoeren.
Hebben teacher- en student-modellen dezelfde architectuur nodig?
Teacher- en student-modellen hoeven niet dezelfde architectuur te delen. Omdat distillatie de student traint om overeen te komen met de uitvoer, kansverdelingen of tussensignalen van de teacher, kan een kleiner student-netwerk leren van een grotere teacher met een andere interne structuur. Teams kiezen doorgaans een compacte student-architectuur die is gebouwd voor snelle inzet op hun doelhardware.
Kun je een taalmodel distilleren met uitvoer van de OpenAI API?
Per 16 november 2026 verbieden de Terms of Use van OpenAI, die sinds 1 januari 2026 van kracht zijn, nu al om uitvoer te gebruiken voor de ontwikkeling van modellen die met OpenAI concurreren. Daarnaast voegt de pagina met de OpenAI Usage Policies een uitgebreider onderdeel over het trainen en ontwikkelen van modellen toe, met 20 november 2026 als ingangsdatum; dit is op 16 november 2026 nog niet van kracht. Teams die gedistilleerde modellen willen bouwen volgens de voorwaarden van aanbieders, gebruiken eigen modellen of modellen waarvan de licentie training op uitvoer toestaat.
Hoe verschilt modeldistillatie van kwantisatie en RAG?
Modeldistillatie, kwantisatie en retrieval-augmented generation pakken verschillende knelpunten aan. Modeldistillatie traint een nieuw, kleiner student-model om een teacher-model na te bootsen. Kwantisatie verlaagt de numerieke precisie van de gewichten van een bestaand model, bijvoorbeeld van 16-bit naar 8-bit of 4-bit, om het geheugengebruik te verminderen. Retrieval-augmented generation haalt tijdens inferentie externe documenten op in plaats van een teacher in een student te comprimeren.
Welke risico’s heeft een gedistilleerd student-model?
Een gedistilleerd student-model kan feitelijke fouten of vooroordelen in de uitvoer van het teacher-model overnemen. Overeenstemming met de antwoorden van een teacher op trainingsvoorbeelden garandeert ook geen betrouwbaarheid bij prompts buiten de distributie. Tot slot kunnen vaardigheden of veiligheidsgedrag die ontbreken in de distillatiedataset bij werkelijke inzet merkbaar verzwakken in het kleinere student-model.
Bronnen
De technische definities en details over aanbiedersbeleid in deze gids komen uit het hieronder vermelde oorspronkelijke onderzoeksartikel en de officiële documentatie van OpenAI.



