Mixture of Experts (MoE, Expertenmischung) ist eine Architektur neuronaler Netze, die eine Schicht in mehrere Experten-Subnetze aufteilt und einen trainierten router nutzt, um jede Eingabe an eine kleine Teilmenge davon zu leiten. In sparsamen MoE-Sprachmodellen aktiviert jedes Token nur einen Bruchteil aller Parameter. So wird die Modellkapazität vom Rechenaufwand pro Token getrennt.
Wie funktioniert ein Mixture of Experts LLM?
Ein Mixture of Experts LLM ersetzt den üblichen Feedforward-Block innerhalb der Transformer-Schichten durch mehrere parallele Expertennetze, die ein router pro Token steuert. Standardmäßige Transformer-Modelle wechseln zwischen Attention-Schichten und dichten Feedforward-Netzwerkschichten (FFN). Bei einem MoE-Design bleibt der Attention-Block für alle Eingaben gemeinsam, während der FFN-Block zu einer Sammlung separater Experten-Subnetze wird, die jeweils typischerweise als eigenes FFN aufgebaut sind.
Wie router und Experten jedes Token verarbeiten
Jedes Token in einem KI-Modell durchläuft die Transformer-Schichten Schritt für Schritt, und der router bewertet jedes Token unabhängig. Der router, auch Gating-Netzwerk genannt, ist eine trainierte Komponente innerhalb der Schicht. In typischen Implementierungen besteht er aus einer kleinen linearen Schicht mit anschließender Softmax-Funktion, die jeden verfügbaren Experten für das eingehende Token bewertet; darauf folgt eine top-k-Auswahl.
Sobald der router die besten k Experten für das Token ausgewählt hat, berechnen nur diese Ausgaben dafür. Das Modell kombiniert anschließend die Ausgaben der gewählten Experten, typischerweise durch Gewichtung und Addition, bevor es den verborgenen Zustand an den nächsten Transformer-Block weitergibt.
Sparsames MoE vs. dichtes MoE
Fachleute unterscheiden dichte und sparsame MoE danach, wie viele Experten bei jeder Eingabe ausgeführt werden. In einer dichten MoE-Schicht wird jeder Experte für jede Eingabe ausgeführt. In einer sparsamen Mixture of Experts-Schicht wird für ein Token nur die vom router gewählte top-k-Teilmenge ausgeführt. Sofern eine Architekturbeschreibung nicht ausdrücklich dichtes Routing angibt, verwenden moderne LLM-Dokumentationen MoE als Kurzform für den sparsamen Fall.
Aktive Parameter vs. Gesamtparameter in einem MoE-Modell
Der Unterschied zwischen aktiven Parametern und Gesamtparametern ist für das Verständnis jeder MoE-Modellkarte entscheidend. Da ein sparsames MoE-Modell viele Expertennetze speichert, aber pro Token nur wenige aktiviert, kann eine einzige Parameterzahl weder Speichergröße noch Rechenaufwand pro Token vollständig beschreiben.
Die Gesamtparameter, manchmal sparsame Parameter genannt, umfassen alle Gewichte des gesamten Modells: alle Experten-FFNs, die router, die gemeinsamen Attention-Blöcke sowie die Einbettungs- und Ausgabeschichten. Wenn Modellentwickler jeder Schicht weitere Experten hinzufügen, steigt die Gesamtzahl der Parameter.
Aktive Parameter umfassen nur die Teilmenge der Gewichte, die bei einem Vorwärtsdurchlauf für ein Token ausgeführt werden. Dazu gehören die gemeinsamen Schichten, die bei jedem Token laufen, sowie die k Experten, die in jeder MoE-Schicht ausgewählt werden. Eine Erhöhung von k steigert die Zahl aktiver Parameter direkt. Bleibt k gleich und kommen insgesamt mehr Experten hinzu, bleibt sie abgesehen vom geringen Zusatzaufwand des routers nahezu unverändert. Der Rechenaufwand beim Vorwärtsdurchlauf und die Latenz pro Token folgen eng der Zahl aktiver Parameter, während der zum Laden benötigte Speicher weiterhin von der Gesamtzahl abhängt.
Mixture of Experts vs. dichtes Modell
Beim Vergleich von Mixture of Experts mit einem dichten Modell kommt es darauf an, wie sich Parameterzahlen auf die Berechnung pro Token und den Systemspeicher auswirken. In einem dichten Transformer ist jedes Gewicht jeder Feedforward-Schicht an der Verarbeitung jedes Tokens beteiligt. Eine größere Kapazität eines dichten Modells lässt den Rechenaufwand pro Token im gleichen Maße steigen.
Eine sparsame MoE-Architektur löst diesen Gleichlauf. Indem die Gesamtzahl der Experten n erhöht wird, während die Zahl der ausgewählten Experten k konstant bleibt, lässt sich die gesamte Parameterkapazität ausbauen. Der Rechenaufwand pro Token bleibt dabei ungefähr an k und die geringen Kosten des routers gebunden.
| Dimension | Dichtes Modell | Sparsames MoE-Modell |
|---|---|---|
| Gesamtparameter | Ein einheitlicher Satz Gewichte über alle Schichten | Summe der gemeinsamen Schichten und aller n Experten-Subnetze |
| Aktive Parameter pro Token | Entsprechen den Gesamtparametern (100% aktiv) | Teilmenge aus gemeinsamen Schichten und top-k Experten pro Schicht |
| Rechenaufwand pro Token | Steigt direkt mit der Gesamtzahl der Parameter | Steigt vor allem mit den aktiven Parametern (plus geringem router-Aufwand) |
| Speicher zum Laden des Modells | Steigt mit den Gesamtparametern | Steigt mit den Gesamtparametern (alle Experten bleiben normalerweise im Speicher) |
Die Tabelle verdeutlicht eine wichtige Regel für die Modellbewertung. Vergleichen Sie Laufzeitgeschwindigkeit oder Recheneffizienz pro Token, bietet ein dichtes Modell mit ähnlicher aktiver Größe eine faire Basis für ein sparsames MoE-Modell. Ein dichtes Modell mit gleicher Gesamtparameterzahl führt dagegen zu einem Vergleich unterschiedlich großer Arbeitslasten.
Woher stammt Mixture of Experts?
Das Konzept Mixture of Experts entstand mehr als zwei Jahrzehnte vor modernen großen Sprachmodellen. Forschende untersuchten bedingtes Routing lange vor Transformer-Architekturen und passten die Idee schrittweise an enorme Größenordnungen an.
1991 veröffentlichten Robert Jacobs, Michael Jordan, Steven Nowlan und Geoffrey Hinton Adaptive Mixtures of Local Experts in Neural Computation. Sie stellten einen Ansatz für überwachtes Lernen vor, bei dem ein Gating-Netzwerk verschiedene Eingaben an separate lokale Expertennetze leitet.
2017 passten Noam Shazeer und Mitautoren sparsames Gating in Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, vorgestellt auf der ICLR 2017, für große Sprachmodelle an. Ihre Arbeit zeigte, dass sich neuronale Netze durch sparsam gesteuerte MoE-Schichten auf weit höhere Parameterzahlen skalieren lassen, ohne den Rechenaufwand pro Beispiel proportional zu erhöhen.
2021 stellten William Fedus, Barret Zoph und Noam Shazeer Switch Transformers vor. Statt Token an zwei oder mehr Experten zu leiten, sendet Switch routing jedes Token an k=1 Experten. Die Autoren argumentierten, dass Routing an einen einzelnen Experten die Modellqualität erhalten und zugleich den Rechenaufwand des routers sowie die Kommunikation zwischen Geräten gegenüber Routing mit k > 1 senken kann.
Beispiel: Mixtral 8x7B
Die Veröffentlichung von Mixtral 8x7B durch Mistral AI bietet ein klares öffentliches Beispiel aus erster Hand für ein Mixtral Mixture of Experts-Modell mit vollständig dokumentierten Architekturzahlen. Mixtral 8x7B wurde am 11. Dezember 2023 im Blogbeitrag Mixtral of experts angekündigt und im zugehörigen Paper Mixtral of Experts beschrieben. Es ist ein sparsames Mixture-of-Experts-Sprachmodell mit reinem Decoder, das unter der Lizenz Apache 2.0 veröffentlicht wurde und eine Kontextlänge von 32k Token besitzt.
In Mixtral 8x7B enthält der Feedforward-Block jeder Transformer-Schicht 8 Experten-Parametergruppen. Für jedes Token wählt ein trainierter router in jeder Schicht 2 dieser 8 Experten (k=2) und addiert deren Ausgaben.
Die Veröffentlichungshinweise von Mistral AI nennen 46.7B Gesamtparameter und 12.9B pro Token genutzte Parameter (das technische Paper rundet auf 47B insgesamt und 13B aktive Parameter). Diese Zahlen zeigen, warum die Multiplikation von 8 mit 7B eine irreführende Schätzung ergibt: Gemeinsame Komponenten wie Attention-Blöcke werden nicht achtmal repliziert. Daher liegen die Gesamtparameter bei 46.7B, während pro Token nur 12.9B verwendet werden.
Als frühe, gut dokumentierte MoE-Veröffentlichung mit offenen Gewichten zeigt Mixtral 8x7B die grundlegende Funktionsweise deutlich. Auch spätere Spitzenmodelle setzen sparsame Feedforward-Schichten im MoE-Stil ein, wobei kommerzielle Anbieter genaue Expertenzahlen und Routing-Strukturen häufig nicht offenlegen.
Was bedeutet MoE für Kosten und Modellwahl?
Mixture of Experts-Architekturen verändern das Verhältnis zwischen Inferenzkosten pro Token und Hardwarespeicher, wenn Sie ein KI-Modell auswählen. Wer die Trennung dieser beiden Einschränkungen versteht, vermeidet Überraschungen beim Übergang von Modellkarten zu Hosting im Produktivbetrieb oder zur API-Bewertung.
Rechenaufwand pro Token vs. Speicherbedarf
Da der Rechenaufwand eines Vorwärtsdurchlaufs den aktiven und nicht den gesamten Parametern folgt, kann ein sparsames MoE-Modell jedes Token mit einem Aufwand verarbeiten, der näher an einem kleineren dichten Modell liegt. Weniger Rechenaufwand pro Token bedeutet häufig eine schnellere Ausführung oder geringere Rechenkosten pro erzeugtem Token. Das ist relevant, wenn Sie bei umfangreichen Arbeitslasten Möglichkeiten zur Senkung von KI-API-Kosten betrachten.
Die Speicherplanung funktioniert anders. Die Bereitstellung eines MoE-Modells erfordert normalerweise genug Speicher und Speicherbandbreite, um alle Experten gleichzeitig vorzuhalten, da unterschiedliche Token in einem Prompt oder Batch an jeden Experten jeder Schicht geleitet werden können. Sofern eine Bereitstellung keine Parameter auslagert, müssen für das Hosting von Mixtral 8x7B weiterhin alle 46.7B Parameter in den Speicher passen, obwohl jedes Token 12.9B aktiviert.
Eine faire Vergleichsbasis wählen
Wenn ich eine Modellkarte für ein Bereitstellungsprojekt prüfe, halte ich beide Zahlen nebeneinander fest: Gesamtparameter für die Speicherplanung und aktive Parameter für den erwarteten Rechenaufwand. Der Vergleich eines MoE-Modells mit einem dichten Modell ähnlicher aktiver Größe vermittelt ein realistisches Bild des Rechenaufwands pro Token. Die Gesamtparameterzahl zeigt hingegen, welche Hardwareklasse die Gewichte tatsächlich laden kann.
Was ist Mixture of Experts nicht?
Die Abgrenzung eines MoE-Modells verhindert häufige Missverständnisse über Trainingsabläufe, externe Datenabfragen und das, was einzelne Experten tatsächlich lernen.
Architektur vs. Training und Retrieval
Mixture of Experts ist ein Architekturmuster für neuronale Netze, das in die Schichten eines Modells eingebaut ist. Es erfüllt eine völlig andere Funktion als Methoden nach dem Training wie Fine-Tuning oder Destillation, die vorhandene Gewichte anpassen oder Fähigkeiten in ein kleineres dichtes Modell übertragen.
Mixture of Experts erfüllt auch eine andere Rolle als Retrieval-augmented Generation (RAG). RAG fragt zur Laufzeit externe Wissensdatenbanken ab, um relevante Zusammenhänge in einen Prompt einzufügen. Ein MoE-router leitet dagegen lediglich Token durch interne Subnetze innerhalb der festen Modellgewichte. Ein MoE-Modell ermöglicht einer Anwendung keinen Live-Abruf von Dokumenten.
Spezialisieren sich Experten auf menschliche Themen?
Der Begriff Experte führt häufig zur Annahme, ein Subnetz bearbeite Python-Code, ein anderes spanische Grammatik und ein weiteres mathematische Beweise. Ohne empirische Analyse aus einer zitierten Studie, die ein solches Verhalten für einen bestimmten Checkpoint zeigt, sollten Sie keine für Menschen verständliche thematische Spezialisierung annehmen. Während des Trainings teilt der trainierte router Eingaben mathematisch auf, um den Trainingsverlust zu minimieren; klare menschliche Themenbezeichnungen sind nicht garantiert.
FAQ
Diese Antworten behandeln häufige praktische Fragen bei der Bewertung sparsamer Mixture of Experts-Sprachmodelle.
Was ist ein MoE einfach erklärt?
Ein MoE, oder Mixture of Experts, ist ein neuronales Netzdesign, das eine große Feedforward-Schicht durch mehrere kleinere Experten-Subnetze und einen trainierten router ersetzt. Für jedes eingehende Token wählt der router nur eine kleine Teilmenge der Experten zur Ausführung aus. So bleibt der Rechenaufwand pro Token geringer als die gesamte Parametergröße des Modells.
Was unterscheidet ein dichtes Modell von einem MoE-Modell?
Ein dichtes Sprachmodell verwendet 100% seiner Parameter zur Verarbeitung jedes einzelnen Tokens. Ein sparsames MoE-Sprachmodell speichert mehrere Expertennetze pro Schicht und leitet jedes Token nur an die top-k-Experten. Daher binden dichte Modelle den Rechenaufwand direkt an die Gesamtparameter, sparsame MoE-Modelle dagegen vor allem an die aktiven Parameter.
Warum benötigt ein MoE-Modell beim Laden dennoch so viel Speicher?
Obwohl jedes Token nur einen Bruchteil der Parameter eines MoE-Modells nutzt, können verschiedene Token zur Laufzeit an jeden Experten im Netz geleitet werden. Sofern ein Bereitstellungsframework keine Parameter auslagert, muss das System alle Gesamtparameter im Speicher halten, damit jeder Experte sofort erreichbar ist.
Wie viele Experten aktiviert ein MoE LLM pro Token?
Die Zahl der aktiven Experten pro Token, bezeichnet als k, hängt vom Modelldesign ab. Switch Transformer leitete jedes Token an genau einen Experten (k=1), um Routing-Aufwand und Kommunikation zu minimieren. Öffentliche Modelle wie Mixtral 8x7B wählen pro Schicht zwei von acht Experten (k=2) und addieren deren Ausgaben.
Ersetzt Mixture of Experts RAG oder Fine-Tuning?
Mixture of Experts ersetzt weder RAG noch Fine-Tuning, da jedes ein anderes Problem löst. MoE definiert, wie interne Schichten Berechnungen innerhalb der Modellgewichte weiterleiten. RAG ruft externe Dokumente ab, um Antworten auf aktuelle Daten zu stützen, während Fine-Tuning das Modellverhalten für spezialisierte Aufgaben oder Antwortformate aktualisiert.
Quellen
Die Architekturdefinitionen, historischen Meilensteine und Zahlen zu Mixtral 8x7B in dieser Erklärung stammen aus den folgenden Forschungsarbeiten und offiziellen Veröffentlichungsunterlagen.
- Adaptive Mixtures of Local Experts (Jacobs, Jordan, Nowlan und Hinton, 1991)
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (Shazeer et al., 2017)
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity (Fedus, Zoph und Shazeer, 2021)
- Mixtral of experts (Mistral AI Blog, 11. Dezember 2023)
- Mixtral of Experts (technisches Paper von Mistral AI, arXiv:2401.04088)



