AI-gidsen · 9 min lezen

Wat is mixture of experts? Zo werken schaarse taalmodellen

Mixture of experts (MoE) stuurt elk token naar enkele expertnetwerken. Ontdek met Mixtral hoe schaarse modellen verschillen in rekenwerk en kosten.

Illustratie van een tokenstroom langs een kleine centrale router die slechts enkele van meerdere hoge expertblokken laat oplichten

Een mixture of experts (MoE, mengsel van experts) is een neurale netwerkarchitectuur die een laag opsplitst in meerdere expertsubnetwerken en een aangeleerde router gebruikt om elke invoer naar een kleine selectie daarvan te sturen. In schaarse MoE-taalmodellen activeert elk token slechts een deel van alle parameters. Zo wordt de modelcapaciteit gescheiden van het rekenwerk per token.

Hoe werkt een mixture of experts LLM?

Een mixture of experts LLM vervangt het standaard feedforwardblok binnen Transformer-lagen door meerdere parallelle expertnetwerken die per token door een router worden aangestuurd. Standaard Transformer-modellen wisselen aandachtslagen af met dichte feedforwardnetwerklagen (FFN). Bij een MoE-ontwerp blijft het aandachtsblok gedeeld voor alle invoer, terwijl het FFN-blok een verzameling afzonderlijke expertsubnetwerken wordt, die elk doorgaans als een eigen FFN zijn opgebouwd.

Hoe de router en experts elk token verwerken

Elk token in een AI-model doorloopt de Transformer-lagen stap voor stap en de router beoordeelt elk token afzonderlijk. De router, ook wel gatingnetwerk genoemd, is een aangeleerd onderdeel binnen de laag. In gebruikelijke implementaties bestaat de router uit een kleine lineaire laag gevolgd door een softmaxfunctie die elke beschikbare expert voor het binnenkomende token een score geeft, samen met een top-k-selectiestap.

Zodra de router de beste k experts voor dat token heeft gekozen, berekenen alleen die experts de uitvoer ervoor. Het model combineert vervolgens de uitvoer van de gekozen experts, doorgaans door die te wegen en op te tellen, voordat het de verborgen toestand aan het volgende Transformer-blok doorgeeft.

Schaarse MoE versus dichte MoE

Vakmensen onderscheiden dichte en schaarse MoE op basis van het aantal experts dat bij elke invoer wordt uitgevoerd. In een dichte MoE-laag wordt elke expert voor elke invoer uitgevoerd. In een schaarse mixture of experts-laag wordt voor een token alleen de door de router gekozen top-k-selectie uitgevoerd. Tenzij een architectuurbeschrijving expliciet dichte routering vermeldt, gebruikt moderne LLM-documentatie MoE als afkorting voor de schaarse variant.

Actieve parameters versus totale parameters in een MoE-model

Het verschil tussen actieve en totale parameters begrijpen is essentieel bij het lezen van een MoE-modelkaart. Een schaars MoE-model bewaart veel expertnetwerken, maar activeert er slechts enkele per token. Eén parametergetal kan daardoor niet zowel de geheugengrootte als het rekenwerk per token beschrijven.

Totale parameters, soms schaarse parameters genoemd, tellen alle gewichten in het hele model: alle expert-FFN’s, de routers, de gedeelde aandachtsblokken en de embedding- en uitvoerlagen. Wanneer modelbouwers meer experts aan elke laag toevoegen, stijgt het totale aantal parameters.

Actieve parameters tellen alleen de gewichten die tijdens een voorwaartse doorgang voor één token worden uitgevoerd. Dit omvat de gedeelde lagen die voor elk token draaien en de k experts die in elke MoE-laag worden gekozen. Een verhoging van k verhoogt direct het aantal actieve parameters. Als k gelijk blijft en het totale aantal experts groeit, blijft dat aantal vrijwel gelijk, afgezien van de geringe extra belasting van de router. Het rekenwerk van de voorwaartse doorgang en de latentie per token volgen de actieve parameters nauw, terwijl het geheugen voor het laden van het model afhankelijk blijft van de totale parameters.

Mixture of experts versus een dicht model

De vergelijking tussen mixture of experts en een dicht model draait om de relatie tussen parameteraantallen, rekenwerk per token en systeemgeheugen. In een dichte Transformer draagt elk gewicht in elke feedforwardlaag bij aan de verwerking van elk token. Als de capaciteit van een dicht model groeit, moet het rekenwerk per token in hetzelfde tempo toenemen.

Een schaarse MoE-architectuur verbreekt die vaste koppeling. Door het totale aantal experts n te verhogen terwijl het aantal geselecteerde experts k constant blijft, kunnen ontwikkelaars de totale parametercapaciteit vergroten en het rekenwerk per token ongeveer gekoppeld houden aan k plus de geringe kosten van de router.

Dimensie Dicht model Schaars MoE-model
Totale parameters Eén gezamenlijke verzameling gewichten over alle lagen Som van gedeelde lagen en alle n expertsubnetwerken
Actieve parameters per token Gelijk aan totale parameters (100% actief) Deelverzameling van gedeelde lagen plus top-k experts per laag
Rekenwerk per token Groeit direct met het totale aantal parameters Groeit vooral met actieve parameters (plus geringe routerkosten)
Geheugen om het model te laden Groeit met de totale parameters Groeit met de totale parameters (alle experts blijven doorgaans in het geheugen)

De tabel laat een belangrijke regel voor modelevaluatie zien. Bij vergelijking van uitvoeringssnelheid of rekenefficiëntie per token biedt een dicht model met een vergelijkbare actieve grootte een eerlijke basis voor een schaars MoE-model. Vergelijking met een dicht model met hetzelfde totale aantal parameters vergelijkt daarentegen verschillende werkbelastingen.

Waar komt mixture of experts vandaan?

Het concept mixture of experts bestond al meer dan twee decennia vóór moderne grote taalmodellen. Onderzoekers onderzochten voorwaardelijke routering lang voordat Transformer-architecturen bestonden en pasten het idee geleidelijk aan voor enorme schaal.

In 1991 publiceerden Robert Jacobs, Michael Jordan, Steven Nowlan en Geoffrey Hinton Adaptive Mixtures of Local Experts in Neural Computation. Zij introduceerden een raamwerk voor begeleid leren waarin een gatingnetwerk verschillende invoer naar afzonderlijke lokale expertnetwerken stuurt.

In 2017 pasten Noam Shazeer en coauteurs schaarse gating toe op grootschalige taalmodellering in Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, gepresenteerd op ICLR 2017. Hun werk liet zien dat neurale netwerken door het invoegen van schaars aangestuurde MoE-lagen naar veel hogere parameteraantallen kunnen schalen zonder een evenredige toename van het rekenwerk per voorbeeld.

In 2021 introduceerden William Fedus, Barret Zoph en Noam Shazeer Switch Transformers. In plaats van tokens naar twee of meer experts te sturen, stuurt Switch routing elk token naar k=1 expert. Volgens de auteurs kan routering naar één expert de modelkwaliteit behouden en tegelijk het rekenwerk van de router en de communicatie tussen apparaten verminderen ten opzichte van routering met k > 1.

Uitgewerkt voorbeeld: Mixtral 8x7B

De release van Mixtral 8x7B door Mistral AI biedt een duidelijk openbaar voorbeeld uit eerste hand van een Mixtral mixture of experts-model met volledig gedocumenteerde architectuurcijfers. Mixtral 8x7B werd op 11 december 2023 aangekondigd in de Mixtral of experts-blogpost en beschreven in het bijbehorende Mixtral of Experts-artikel. Het is een schaars mixture-of-experts-taalmodel met alleen een decoder, uitgebracht onder de Apache 2.0-licentie met een contextlengte van 32k tokens.

In Mixtral 8x7B bevat het feedforwardblok van elke Transformer-laag 8 expertparametergroepen. Voor elk token kiest een aangeleerde router in elke laag 2 van die 8 experts (k=2) en telt hun uitvoer bij elkaar op.

De releaseopmerkingen van Mistral AI vermelden 46.7B totale parameters en 12.9B parameters die per token worden gebruikt (het technische artikel rondt deze cijfers af op 47B totaal en 13B actief). Die cijfers laten zien waarom 8 vermenigvuldigen met 7B een misleidende schatting oplevert: gedeelde onderdelen zoals aandachtsblokken worden niet acht keer gekopieerd. Het totaal is dus 46.7B parameters, terwijl per token slechts 12.9B wordt gebruikt.

Als vroege, goed gedocumenteerde MoE-release met open gewichten laat Mixtral 8x7B de basiswerking duidelijk zien. Ook latere grensverleggende modellen hebben schaarse feedforwardlagen in MoE-stijl toegepast, al maken commerciële aanbieders de exacte aantallen experts en routeringsindelingen vaak niet bekend.

Wat betekent MoE voor kosten en modelkeuze?

Mixture of experts-architecturen veranderen de verhouding tussen inferentiekosten per token en de geheugencapaciteit van hardware bij het kiezen van een AI-model. Inzicht in het onderscheid tussen deze twee beperkingen helpt teams verrassingen te voorkomen bij de overgang van modelkaarten naar productiehosting of API-evaluatie.

Rekenwerk per token versus geheugengebruik

Omdat het rekenwerk van een voorwaartse doorgang de actieve parameters volgt en niet het totaal, kan een schaars MoE-model elk token verwerken met rekenwerk dat dichter bij dat van een kleiner dicht model ligt. Minder rekenwerk per token betekent vaak snellere uitvoering per token of lagere rekenkosten per gegenereerd token. Dat is relevant als u bij grote werkbelastingen kijkt naar manieren om AI-API-kosten te verlagen.

Geheugenplanning werkt anders. Voor het aanbieden van een MoE-model zijn normaal voldoende geheugen en geheugenbandbreedte nodig om alle experts tegelijk vast te houden, omdat verschillende tokens in een prompt of batch naar elke expert in elke laag kunnen worden gestuurd. Zonder het uitladen van parameters moeten bij hosting van Mixtral 8x7B nog steeds alle 46.7B parameters in het geheugen passen, ook al activeert elk token er 12.9B.

Een eerlijke vergelijkingsbasis kiezen

Wanneer ik voor een implementatieproject een modelkaart bekijk, noteer ik beide getallen naast elkaar: totale parameters voor de benodigde geheugengrootte en actieve parameters voor de verwachte rekenbelasting. Een MoE-model vergelijken met een dicht model van vergelijkbare actieve grootte geeft een realistisch beeld van het rekenwerk per token. Het totale aantal parameters geeft aan welke hardwareklasse de gewichten daadwerkelijk kan laden.

Wat is mixture of experts niet?

Duidelijk maken wat een MoE-model niet is, voorkomt veelvoorkomende misverstanden over trainingsprocessen, het opzoeken van externe gegevens en wat individuele experts werkelijk leren.

Architectuur versus training en ophalen

Mixture of experts is een architectuurpatroon voor neurale netwerken dat in de lagen van een model is ingebouwd. Het heeft een heel andere functie dan methoden na de training zoals fine-tuning of distillatie, die bestaande gewichten aanpassen of vaardigheden overdragen naar een kleiner dicht model.

Mixture of experts heeft ook een andere rol dan retrieval-augmented generation (RAG). RAG doorzoekt tijdens de uitvoering externe kennisbanken om relevante context aan een prompt toe te voegen, terwijl een MoE-router tokens alleen tussen interne subnetwerken binnen de vaste modelgewichten stuurt. Een MoE-model geeft een toepassing niet de mogelijkheid om live documenten op te halen.

Specialiseren experts zich in menselijke onderwerpen?

De term expert leidt vaak tot de aanname dat het ene subnetwerk Python-code behandelt, een ander Spaanse grammatica en een derde wiskundige bewijzen. Zonder empirische analyse uit een aangehaald artikel die dit gedrag voor een specifiek checkpoint aantoont, moet u geen voor mensen interpreteerbare onderwerpspecialisatie aannemen. Tijdens de training verdeelt de aangeleerde router invoer wiskundig om het trainingsverlies te minimaliseren; duidelijke menselijke onderwerplabels zijn niet gegarandeerd.

FAQ

Deze antwoorden behandelen veelgestelde praktische vragen bij het beoordelen van schaarse mixture of experts-taalmodellen.

Wat is een MoE in eenvoudige woorden?

Een MoE, of mixture of experts, is een ontwerp voor neurale netwerken dat één grote feedforwardlaag vervangt door meerdere kleinere expertsubnetwerken en een aangeleerde router. Voor elk binnenkomend token selecteert de router slechts een kleine groep experts om uit te voeren, waardoor het rekenwerk per token lager blijft dan de totale parametergrootte van het model.

Wat is het verschil tussen een dicht model en een MoE-model?

Een dicht taalmodel gebruikt 100% van zijn parameters om elk afzonderlijk token te verwerken. Een schaars MoE-taalmodel bewaart meerdere expertnetwerken per laag en stuurt elk token alleen naar de top-k-experts. Daardoor koppelen dichte modellen het rekenwerk direct aan de totale parameters, terwijl schaarse MoE-modellen het vooral aan de actieve parameters koppelen.

Waarom is er nog steeds zoveel geheugen nodig om een MoE-model te laden?

Hoewel elk token slechts een deel van de parameters van een MoE-model gebruikt, kunnen verschillende tokens tijdens de uitvoering naar elke expert in het netwerk worden gestuurd. Tenzij een framework voor modelaanbieding parameters uitlaadt, moet het systeem alle parameters in het geheugen houden zodat elke expert direct bereikbaar blijft.

Hoeveel experts activeert een MoE LLM per token?

Het aantal actieve experts per token, aangeduid als k, hangt af van het modelontwerp. Switch Transformer stuurde elk token naar precies één expert (k=1) om routeringsoverhead en communicatie te beperken. Openbare modellen zoals Mixtral 8x7B kiezen per laag twee van de acht experts (k=2) en tellen hun uitvoer op.

Vervangt mixture of experts RAG of fine-tuning?

Mixture of experts vervangt RAG of fine-tuning niet, omdat elk een ander probleem oplost. MoE bepaalt hoe interne lagen het rekenwerk binnen de modelgewichten routeren. RAG haalt externe documenten op om antwoorden op actuele gegevens te baseren, terwijl fine-tuning het modelgedrag aanpast voor gespecialiseerde taken of antwoordformaten.

Bronnen

De architectuurdefinities, historische mijlpalen en cijfers voor Mixtral 8x7B in deze uitleg komen uit de volgende oorspronkelijke onderzoeksartikelen en officiële releasedocumentatie.

Geschreven door

Chunyu Cai

Chunyu Cai is CEO van Lotook, LLC en ondernemer. Hij schrijft over AI-modellen, agenten en hoe ze het dagelijkse werk veranderen. Chunyu Cai heeft een masterdiploma van Imperial College London.