KI-Ratgeber · 8 Min. Lesezeit

Was ist Modelldestillation? Wie Teacher kleinere Modelle trainieren

Bei der Modelldestillation lernt ein kleiner Student von einem großen Teacher. Erfahren Sie, wie sie Kosten senkt und welche API-Regeln gelten.

Illustration einer großen leuchtenden Teacher-Figur, die einen sanften Lichtfächer zu einer kleineren Student-Figur sendet

Modelldestillation ist eine Trainingstechnik, bei der ein kleineres Student-Modell lernt, ein größeres oder leistungsfähigeres Teacher-Modell nachzuahmen. Indem Teams das Ausgabeverhalten des Teacher in eine kompakte Architektur übertragen, senken sie Inferenzkosten und Latenz und erhalten zugleich einen Großteil seiner Fähigkeiten für bestimmte Produktionsaufgaben.

Was ist Modelldestillation und wie funktioniert das Teacher-Student-Prinzip?

Modelldestillation (model distillation), auch Wissensdestillation (knowledge distillation) genannt, ist ein Trainingsverfahren, das Verhalten von einem großen, leistungsfähigen Teacher-Modell auf ein kleineres oder günstigeres Student-Modell überträgt. Statt das kompakte Modell nur anhand menschlich annotierter Rohbeispiele zu trainieren, verwendet das Team den Teacher, um Trainingssignale für die Aktualisierung des Student zu erzeugen. Ziel ist ein kleineres Modell, das schneller läuft und pro Anfrage weniger kostet, aber einen Großteil des Teacher-Verhaltens beibehält.

In einem Teacher-Student-Workflow ist der Teacher bereits trainiert und bleibt unverändert, während er auf einem Datensatz Zielwerte erzeugt. Der Student aktualisiert seine Gewichte, um die Ergebnisse des Teacher nachzubilden. Teacher und Student müssen nicht dieselbe interne Architektur haben. Ein Team kann einen großen, rechenintensiven Teacher mit einem deutlich leichteren Student-Design kombinieren, das für die schnelle Bereitstellung geeignet ist.

Bei der LLM-Destillation verlagert sich das Trainingssignal von einfachen Klassenlabels hin zu Sprachverhalten. Die Destillation eines Sprachmodells bedeutet häufig, den Student mit vom Teacher generiertem Text, mit Präferenzlabels zur Rangordnung mehrerer Antworten oder mit Wahrscheinlichkeitsverteilungen auf Token-Ebene zu trainieren, sofern der Teacher diese bereitstellt. Spätere Destillationsvarianten trainieren den Student auch darauf, Zwischenmerkmale oder Schlussfolgerungsspuren des Teacher nachzuahmen, statt sich allein auf menschlich gelabelte Datensätze zu stützen.

Wie begründeten Soft Targets und Dark Knowledge die Modelldestillation?

Die moderne Formulierung der Wissensdestillation stammt aus der Arbeit Distilling the Knowledge in a Neural Network von Geoffrey Hinton, Oriol Vinyals und Jeff Dean aus dem Jahr 2015. Zuvor wurden überwachte Klassifikatoren üblicherweise mit harten Labels trainiert, bei denen die richtige Klasse den Wert eins und jede andere Klasse null erhält. Dieses Ziel mit nur einem Label zeigt einem Modell die richtige Antwort, verbirgt aber, wie der Teacher alle übrigen Optionen bewertet.

Hinton, Vinyals und Dean zeigten, dass ein trainierter Teacher Soft Targets erzeugt: eine vollständige Wahrscheinlichkeitsverteilung über alle möglichen Klassen für jede Eingabe. Bewertet ein Bildklassifikator das Foto eines Pick-up-Trucks, weist er Truck eine hohe Wahrscheinlichkeit, Auto eine kleine Wahrscheinlichkeit ungleich null und Karotte eine Wahrscheinlichkeit von nahezu null zu. Diese kleinen Restwahrscheinlichkeiten enthalten das von den Autoren als „Dark Knowledge“ bezeichnete Wissen darüber, wie Klassen zusammenhängen.

Das Training eines Student mit Soft Targets gibt diese Informationen über strukturelle Ähnlichkeiten weiter und bietet dem kleineren Modell pro Beispiel eine weitaus reichhaltigere Überwachung als ein One-Hot-Label allein. Die Arbeit führt auch einen Temperaturparameter ein, der die Ausgabeverteilung des Teacher während der Destillation glättet, damit diese sekundären Wahrscheinlichkeiten beim Training deutlicher hervortreten. Da der Student lernt, wie der Teacher seine Sicherheit auf verwandte Antworten verteilt, kann er besser generalisieren als ein kleines Modell, das von Grund auf nur mit harten Labels trainiert wurde.

Modelldestillation vs. Fine-Tuning vs. Quantisierung

Modelldestillation, Fine-Tuning und Quantisierung werden oft unter Modelloptimierung zusammengefasst, verändern ein Modell aber jeweils auf andere Weise. Ein Vergleich von Modelldestillation mit Fine-Tuning oder Gewichtskompression hilft zu klären, welches Werkzeug welchen Engpass löst.

Ansatz Hauptziel Was sich ändert Wann verwenden
Modelldestillation Verhalten eines großen Teacher auf ein kleineres, schnelleres Modell übertragen Ein separates Student-Modell wird darauf trainiert, Ausgaben oder Wahrscheinlichkeiten des Teacher nachzubilden Sie benötigen geringere Latenz oder kleinere Hardware und möchten Teacher-ähnliches Verhalten erhalten
Fine-Tuning Ein bestehendes Modell an eine bestimmte Aufgabe, Domäne oder ein Format anpassen Gewichte des Zielmodells werden anhand von Aufgabendaten aktualisiert, während die Größe meist gleich bleibt Ein Basismodell erfüllt bereits Ihr Latenzbudget und muss auf eine Aufgabe spezialisiert werden
Quantisierung Speichernutzung verringern und Gewichtsberechnungen beschleunigen Die numerische Präzision vorhandener Gewichte sinkt, etwa von 16-Bit auf 8-Bit oder 4-Bit Ein Modell erfüllt Ihre Genauigkeitsanforderungen und muss in engere VRAM- oder Speichergrenzen passen

Fine-Tuning setzt das Training eines bestehenden Modells mit aufgabenspezifischen Daten fort, sodass sich dessen eigenes Verhalten ändert, normalerweise ohne seine Parameterzahl zu verringern. Destillation verfolgt ein anderes Ziel: Sie überträgt Verhalten von einem Teacher auf ein anderes, meist kleineres Modell. Auch Quantisierung ist keine Destillation, denn sie verringert die numerische Präzision der Gewichte eines bereits trainierten Modells, statt einen separaten Student zur Nachahmung eines Teacher zu trainieren.

In diesem Zusammenhang begegnen Fachleuten auch Pruning, Sparsität, Mixture-of-Experts-Architekturen (MoE) und Retrieval-Augmented Generation (RAG). Pruning, Sparsität und MoE-Designs verändern den Rechenaufwand oder die Zahl aktiver Parameter innerhalb eines Modells, während RAG zur Inferenzzeit externe Dokumente abruft, statt einen Teacher in einen Student zu komprimieren. Wenn Sie noch entscheiden, ob Sie trainieren, anpassen oder die Modellgröße wechseln möchten, lesen Sie zunächst unseren Leitfaden zur Auswahl eines KI-Modells.

Warum destillieren Teams Sprachmodelle?

Entwicklungsteams destillieren ein Sprachmodell vor allem, um Inferenzkosten und Latenz gegenüber dem Einsatz eines großen Teacher-Modells bei jeder Anfrage zu senken. Millionen routinemäßiger Klassifizierungs-, Extraktions- oder Entwurfsanfragen mit einem Spitzenmodell zu bearbeiten, verbraucht viel Rechenleistung und verlängert Antwortzeiten. Wird diese Arbeit auf einen destillierten Student verlagert, der am Verhalten des Teacher trainiert wurde, kann eine Anwendung auf kleinerer Hardware oder innerhalb engerer Latenzbudgets schneller antworten.

Das Verständnis davon, was ein Token in der KI ist, erklärt die Abrechnungsseite dieses Kompromisses: Jeder Prompt und jede Vervollständigung verbraucht Rechenleistung proportional zur Token-Menge und Modellgröße. Häufige Anfragen auf einen kompakten Student zu verlagern, senkt daher direkt die Kosten pro Anfrage. Teams, die neben kleineren Modellen weitere Einsparmöglichkeiten suchen, können dies mit den Taktiken aus unserem Leitfaden zur Senkung von KI-API-Kosten verbinden.

Bei meiner eigenen Prüfung produktiver KI-Pipelines beginnen Teams selten am ersten Tag mit Destillation. Die meisten validieren zunächst die Produktqualität mit einem großen Teacher und destillieren dann ihren eigenen internen Teacher in einen produktiven Student, sobald sich die Verkehrsmuster stabilisieren. KI-Labore folgen demselben Muster, wenn sie kleinere Varianten ihrer eigenen Modellfamilien veröffentlichen: Ein selbst entwickeltes oder ordnungsgemäß lizenziertes Modell in einen kleineren Student zu destillieren, ist eine gängige Praxis der Produktentwicklung.

Was sagen die OpenAI-Richtlinien zur Modelldestillation?

Das Training eines Student-Modells mit Ausgaben einer gehosteten API eines Drittanbieters unterliegt den Verträgen des Anbieters. Die folgende Zusammenfassung beschreibt veröffentlichte Richtlinien mit Stand 16. November 2026, einschließlich einer Aktualisierung der Usage Policies, die als ab dem 20. November 2026 wirksam gekennzeichnet ist, und stellt keine Rechtsberatung dar. Die Destillation eines eigenen Modells oder eines Modells, dessen Lizenz das Training mit seinen Ausgaben erlaubt, unterscheidet sich erheblich davon, Ausgaben einer kommerziellen API unter Verstoß gegen deren Bedingungen zu entnehmen.

Terms of Use und Usage Policies

Gemäß den OpenAI Terms of Use ist Nutzern folgende Tätigkeit untersagt: „Ausgaben zur Entwicklung von Modellen verwenden, die mit OpenAI konkurrieren.“ Diese Klausel steht unmittelbar in den Beschränkungen für die Nutzung von Modellausgaben, die OpenAI-Dienste zurückgeben.

Die Seite der OpenAI Usage Policies ist als ab dem 20. November 2026 wirksam gekennzeichnet. Ihr aktualisierter Abschnitt zum Training und zur Entwicklung von Modellen ist daher eine bevorstehende Regelung, die am 16. November 2026 noch nicht in Kraft ist. Der künftige Richtlinientext auf dieser Seite besagt, dass Nutzer OpenAI-Modelle oder deren Ausgaben nicht verwenden dürfen, um Trainingsmaterial oder -signale für Modelle zu erzeugen, vorzubereiten, auszuwählen oder bereitzustellen, die als Alternativen oder Ersatz für OpenAI-Modelle oder -Dienste gedacht sind. Dies umfasst Trainingsdaten, Aufgaben, Bewertungsraster, Umgebungen für bestärkendes Lernen und Trainingsfeedback wie Labels, Punktzahlen, Rangfolgen, Präferenzen, Belohnungen oder Korrekturen. Der künftige Text besagt außerdem, dass diese Einschränkungen ausdrücklich durch den Kundenvertrag erlaubte Nutzungen nicht verbieten, einschließlich einer Permitted Exception unter dem OpenAI Services Agreement.

Maßnahmen gegen nicht autorisierte Destillationskampagnen

In einem öffentlichen Beitrag mit dem Titel Disrupting a coordinated model-distillation campaign beschrieb OpenAI adversariale Destillation als „die systematische und nicht autorisierte Nutzung der Ausgaben oder Schlussfolgerungen eines Modells, um ein anderes Modell zu trainieren, zu reproduzieren oder zu verbessern“. OpenAI berichtete von Maßnahmen gegen Konten und technischen Gegenmaßnahmen gegen eine koordinierte Kampagne, die versuchte, geschützte Schlussfolgerungen aus seinen Modellen zu extrahieren.

Auch andere Anbieter gehosteter Modelle schränken die Nutzung von API-Ausgaben zum Training konkurrierender Modelle ein. Da genaue Berechtigungen, Unternehmensausnahmen und Lizenzen für offene Gewichte je nach Anbieter und Tarif variieren, sollten Entwicklungsteams die aktuellen Bedingungen jeder gehosteten API oder Modelllizenz lesen, bevor sie Ausgaben für eine Trainingspipeline sammeln.

Was kann bei einem destillierten Modell schiefgehen?

Ein destilliertes Student-Modell kann in der Produktion scheitern, weil das Kopieren der Teacher-Ausgaben neben Stärken auch blinde Flecken überträgt. Selbst wenn ein Student in einem engen Benchmark überzeugend wirkt, treten nach der Bereitstellung drei wiederkehrende Fehlermodi auf:

  • Übernommene Fehler und Verzerrungen: Da der Student die Ausgaben des Teacher als Trainingswahrheit behandelt, kann er dessen Sachfehler, Halluzinationen oder systematische Verzerrungen lernen und wiederholen.
  • Leistungseinbrüche außerhalb der Verteilung: Die Übereinstimmung mit den endgültigen Antworten des Teacher auf einem kuratierten Trainingssatz garantiert keine vergleichbare Zuverlässigkeit bei unbekannten, verrauschten oder außerhalb der Verteilung liegenden Eingaben echter Nutzer.
  • Abdeckungs- und Sicherheitslücken: Fähigkeiten, Randfälle oder Sicherheitsverhalten, die im Destillationsdatensatz nie vorkommen, können beim Student merklich nachlassen und Lücken hinterlassen, die der ursprüngliche Teacher sicher abdeckte.

Um diese Fehlermodi zu mindern, sind eine sorgfältige Datensatzabdeckung und unabhängige Bewertungen anhand realer Produktionsrandfälle nötig. Es reicht nicht anzunehmen, dass der Student jede Eigenschaft des Teacher übernommen hat.

FAQ

Diese häufig gestellten Fragen fassen zusammen, wie Modelldestillation funktioniert, wann Teams sie einsetzen und welche Regeln für Ausgaben gehosteter Modelle gelten.

Ist Modelldestillation dasselbe wie Fine-Tuning?

Modelldestillation und Fine-Tuning dienen unterschiedlichen Zielen. Fine-Tuning aktualisiert die Gewichte eines bestehenden Modells und behält meist dieselbe Parameterzahl bei, damit sich das Modell an eine bestimmte Aufgabe oder einen Stil anpasst. Modelldestillation überträgt Verhalten von einem größeren Teacher auf einen separaten, meist kleineren Student, damit Teams Inferenz schneller und günstiger ausführen können.

Brauchen Teacher und Student dieselbe Architektur?

Teacher und Student müssen nicht dieselbe Architektur teilen. Da die Destillation den Student darauf trainiert, Ausgaben, Wahrscheinlichkeitsverteilungen oder Zwischensignale des Teacher nachzubilden, kann ein kleineres Student-Netz von einem größeren Teacher mit anderer interner Struktur lernen. Teams wählen meist eine kompakte Student-Architektur, die für die schnelle Bereitstellung auf ihrer Zielhardware ausgelegt ist.

Kann man ein Sprachmodell mit OpenAI API-Ausgaben destillieren?

Mit Stand 16. November 2026 verbieten die OpenAI Terms of Use, die seit dem 1. Januar 2026 gelten, bereits die Verwendung von Ausgaben zur Entwicklung von Modellen, die mit OpenAI konkurrieren. Davon getrennt ergänzt die Seite der OpenAI Usage Policies einen ausführlicheren Abschnitt zum Training und zur Entwicklung von Modellen, der als ab dem 20. November 2026 wirksam gekennzeichnet und am 16. November 2026 noch nicht in Kraft ist. Teams, die destillierte Modelle im Einklang mit Anbieterbedingungen entwickeln möchten, nutzen eigene Modelle oder Modelle, deren Lizenz das Training mit Ausgaben erlaubt.

Wie unterscheidet sich Modelldestillation von Quantisierung und RAG?

Modelldestillation, Quantisierung und Retrieval-Augmented Generation adressieren unterschiedliche Engpässe. Modelldestillation trainiert ein neues, kleineres Student-Modell zur Nachahmung eines Teacher-Modells. Quantisierung verringert die numerische Präzision der Gewichte eines bestehenden Modells, etwa von 16-Bit auf 8-Bit oder 4-Bit, um Speicher zu sparen. Retrieval-Augmented Generation ruft während der Inferenz externe Dokumente ab, statt einen Teacher in einen Student zu komprimieren.

Welche Risiken birgt ein destilliertes Student-Modell?

Ein destilliertes Student-Modell kann Sachfehler oder Verzerrungen aus den Ausgaben des Teacher-Modells übernehmen. Die Übereinstimmung mit Teacher-Antworten auf Trainingsbeispiele gewährleistet auch keine Zuverlässigkeit bei Prompts außerhalb der Verteilung. Schließlich können Fähigkeiten oder Sicherheitsverhalten, die im Destillationsdatensatz fehlen, beim realen Einsatz im kleineren Student-Modell merklich schwächer werden.

Quellen

Die technischen Definitionen und Einzelheiten zu Anbieterrichtlinien in diesem Leitfaden stammen aus der unten aufgeführten primären Forschungsarbeit und offiziellen OpenAI-Dokumentation.

Geschrieben von

Chunyu Cai

Chunyu Cai ist CEO von Lotook, LLC und Unternehmer. Er schreibt über KI-Modelle, Agenten und darüber, wie sie den Arbeitsalltag verändern. Chunyu Cai hat einen Masterabschluss am Imperial College London erworben.