Guide sull’IA · 10 min di lettura

Cos'è mixture of experts? Come funzionano i modelli linguistici sparsi

Mixture of experts (MoE) indirizza ogni token a poche reti esperte. Scopri con Mixtral come cambiano calcolo e costi rispetto ai modelli densi.

Illustrazione di un flusso di token che attraversa un piccolo router centrale, illuminando solo alcuni di vari alti blocchi di esperti

Mixture of experts (MoE, miscela di esperti) è un’architettura di rete neurale che divide un livello in più sottoreti esperte e usa un router appreso per indirizzare ogni input a un piccolo sottoinsieme di esse. Nei modelli linguistici MoE sparsi, ogni token attiva solo una frazione dei parametri totali, separando la capacità del modello dal calcolo per token.

Come funziona un LLM mixture of experts?

Un LLM mixture of experts sostituisce il blocco feed-forward standard nei livelli Transformer con più reti esperte parallele controllate da un router per ogni token. I modelli Transformer standard alternano livelli di attenzione e livelli di rete feed-forward densa (FFN). Quando un modello linguistico usa un’architettura MoE, il blocco di attenzione rimane condiviso tra tutti gli input, mentre il blocco FFN diventa una raccolta di sottoreti esperte distinte, ciascuna generalmente costruita come una propria FFN.

Come il router e gli esperti elaborano ogni token

Ogni token in un modello di IA attraversa i livelli Transformer un passo alla volta e il router valuta ogni token in modo indipendente. Il router, detto anche rete di gating, è un componente appreso all’interno del livello. Nelle implementazioni tipiche consiste in un piccolo livello lineare seguito da una funzione softmax che assegna un punteggio a ogni esperto disponibile per il token in ingresso, insieme a una fase di selezione top-k.

Dopo che il router ha scelto i migliori k esperti per quel token, solo gli esperti selezionati ne calcolano gli output. Il modello combina quindi gli output degli esperti scelti, in genere pesandoli e sommandoli, prima di passare lo stato nascosto al blocco Transformer successivo.

MoE sparso e MoE denso

Gli addetti ai lavori distinguono MoE denso e MoE sparso in base al numero di esperti eseguiti per ogni input. In un livello MoE denso, ogni esperto viene eseguito su ogni input. In un livello mixture of experts sparso, per un dato token viene eseguito solo il sottoinsieme top-k di esperti selezionato dal router. A meno che una nota sull’architettura non specifichi esplicitamente un instradamento denso, la documentazione moderna sugli LLM usa MoE come abbreviazione del caso sparso.

Parametri attivi e parametri totali in un modello MoE

Comprendere la differenza tra parametri attivi e totali è essenziale per leggere qualsiasi scheda di un modello MoE. Poiché un modello MoE sparso memorizza molte reti esperte ma ne attiva solo alcune per token, un solo numero di parametri non può descrivere sia la dimensione in memoria sia il calcolo per token.

I parametri totali, a volte chiamati parametri sparsi, contano tutti i pesi dell’intero modello: tutte le FFN esperte, i router, i blocchi di attenzione condivisi e i livelli di embedding e di output. Quando i progettisti aggiungono esperti a ogni livello, il numero totale di parametri aumenta.

I parametri attivi contano solo il sottoinsieme di pesi eseguiti durante un passaggio in avanti per un token. La cifra include i livelli condivisi eseguiti per ogni token e i k esperti scelti in ogni livello MoE. Aumentare k incrementa direttamente i parametri attivi, mentre mantenere fisso k e aggiungere altri esperti lascia i parametri attivi quasi invariati, a parte il piccolo sovraccarico del router. Il calcolo del passaggio in avanti e la latenza per token seguono da vicino i parametri attivi, mentre la memoria necessaria per caricare il modello continua a dipendere dai parametri totali.

Mixture of experts e modello denso

Il confronto tra mixture of experts e modello denso riguarda il rapporto tra numero di parametri, calcolo per token e memoria di sistema. In un Transformer denso, ogni peso di ogni livello feed-forward partecipa all’elaborazione di ogni token. Aumentare la capacità di un modello denso costringe il calcolo per token a crescere allo stesso ritmo.

Un’architettura MoE sparsa rompe questo legame. Aumentando il numero totale di esperti n e mantenendo costante il numero selezionato k, gli ingegneri possono ampliare la capacità totale di parametri mantenendo il calcolo per token approssimativamente legato a k più il piccolo costo di esecuzione del router.

Dimensione Modello denso Modello MoE sparso
Parametri totali Un unico insieme di pesi in tutti i livelli Somma dei livelli condivisi e di tutte le n sottoreti esperte
Parametri attivi per token Uguali ai parametri totali (100% attivi) Sottoinsieme formato dai livelli condivisi e dai top-k esperti per livello
Calcolo per token Cresce direttamente con il numero totale di parametri Cresce principalmente con i parametri attivi (più un piccolo costo del router)
Memoria per caricare il modello Cresce con i parametri totali Cresce con i parametri totali (di solito tutti gli esperti restano in memoria)

La tabella evidenzia una regola fondamentale per valutare i modelli. Quando si confrontano velocità di esecuzione o efficienza del calcolo per token, confrontare un modello MoE sparso con un modello denso di dimensione attiva simile offre una base equa. Il confronto con un modello denso che ha lo stesso numero totale di parametri mette invece a confronto carichi di lavoro diversi.

Da dove viene mixture of experts?

Il concetto di mixture of experts precede i moderni grandi modelli linguistici di oltre due decenni. I ricercatori hanno esplorato l’instradamento condizionale molto prima che esistessero le architetture Transformer, adattando gradualmente l’idea a una scala enorme.

Nel 1991 Robert Jacobs, Michael Jordan, Steven Nowlan e Geoffrey Hinton pubblicarono Adaptive Mixtures of Local Experts su Neural Computation, introducendo un sistema di apprendimento supervisionato in cui una rete di gating indirizza input diversi a reti esperte locali separate.

Nel 2017 Noam Shazeer e i coautori adattarono il gating sparso alla modellazione linguistica su larga scala in Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, presentato a ICLR 2017. Il loro lavoro dimostrò che inserire livelli MoE con gating sparso permette alle reti neurali di raggiungere numeri di parametri molto più elevati senza aumenti proporzionali del calcolo per esempio.

Nel 2021 William Fedus, Barret Zoph e Noam Shazeer presentarono Switch Transformers. Invece di indirizzare i token a due o più esperti, Switch routing invia ogni token a k=1 esperto. Gli autori sostennero che l’instradamento a un solo esperto può mantenere la qualità del modello riducendo il calcolo del router e la comunicazione tra dispositivi rispetto all’instradamento k > 1.

Esempio pratico: Mixtral 8x7B

La pubblicazione di Mixtral 8x7B da parte di Mistral AI offre un chiaro esempio pubblico di prima mano di un modello Mixtral mixture of experts con cifre architetturali completamente documentate. Annunciato l’11 dicembre 2023 nel post Mixtral of experts e descritto nell’articolo Mixtral of Experts associato, Mixtral 8x7B è un modello linguistico mixture-of-experts sparso con solo decoder, pubblicato con licenza Apache 2.0 e una lunghezza di contesto di 32k token.

In Mixtral 8x7B, il blocco feed-forward di ogni livello Transformer contiene 8 gruppi di parametri esperti. Per ogni token in ogni livello, un router appreso sceglie 2 di questi 8 esperti (k=2) e combina i loro output sommandoli.

Le note di rilascio di Mistral AI riportano 46.7B parametri totali e 12.9B parametri usati per token; l’articolo tecnico arrotonda le cifre a 47B totali e 13B attivi. Questi numeri mostrano perché moltiplicare 8 per 7B produce una stima fuorviante: i componenti condivisi, come i blocchi di attenzione, non vengono replicati otto volte. I parametri totali sono quindi 46.7B, mentre l’esecuzione per token ne usa solo 12.9B.

Come primo modello MoE con pesi aperti e ben documentato, Mixtral 8x7B mostra chiaramente i meccanismi fondamentali. Anche modelli di frontiera successivi hanno adottato livelli feed-forward sparsi in stile MoE, sebbene i fornitori commerciali spesso non rendano noti il numero esatto di esperti e la configurazione dell’instradamento.

Che cosa significa MoE per costi e scelta del modello?

Le architetture mixture of experts modificano l’equilibrio tra costo di inferenza per token e capacità di memoria hardware quando si sceglie un modello di IA. Capire come si distinguono questi due vincoli aiuta i team a evitare sorprese passando dalle schede dei modelli all’hosting in produzione o alla valutazione delle API.

Calcolo per token e memoria occupata

Poiché il calcolo del passaggio in avanti dipende dai parametri attivi e non da quelli totali, un modello MoE sparso può elaborare ogni token con un calcolo più vicino a quello di un modello denso più piccolo. Un minor calcolo per token si traduce spesso in un’esecuzione più rapida o in un costo di calcolo inferiore per token generato, un aspetto importante quando si esaminano i modi per ridurre i costi delle API di IA per carichi di lavoro elevati.

La pianificazione della memoria funziona diversamente. Servire un modello MoE richiede normalmente memoria e larghezza di banda sufficienti a mantenere tutti gli esperti contemporaneamente, perché token diversi in un prompt o in un batch possono essere indirizzati a qualsiasi esperto di qualsiasi livello. Se il deployment non usa l’offloading dei parametri, ospitare Mixtral 8x7B richiede comunque di inserire tutti i 46.7B parametri in memoria, anche se ogni token ne attiva 12.9B.

Scegliere una base di confronto equa

Quando esamino una scheda modello per un progetto di deployment, annoto entrambi i numeri uno accanto all’altro: i parametri totali per dimensionare la memoria e quelli attivi per stimare il calcolo. Confrontare un modello MoE con un modello denso di dimensione attiva simile dà un’idea realistica del calcolo per token, mentre il numero totale di parametri indica quale categoria di hardware può effettivamente caricare i pesi.

Che cosa non è mixture of experts?

Chiarire che cosa non è un modello MoE evita equivoci comuni sui processi di addestramento, sulla ricerca di dati esterni e su ciò che i singoli esperti apprendono realmente.

Architettura, addestramento e recupero

Mixture of experts è uno schema architetturale di rete neurale integrato nei livelli di un modello. Svolge una funzione completamente diversa dai metodi successivi all’addestramento, come fine-tuning o distillazione, che adattano i pesi esistenti o trasferiscono capacità a un modello denso più piccolo.

Mixture of experts svolge anche un ruolo diverso dalla generazione aumentata dal recupero (RAG). RAG interroga basi di conoscenza esterne durante l’esecuzione per aggiungere contesto pertinente a un prompt, mentre un router MoE si limita a indirizzare i token tra sottoreti interne entro i pesi fissi del modello. Usare un modello MoE non permette a un’applicazione di recuperare documenti in tempo reale.

Gli esperti si specializzano in argomenti umani?

Il termine esperto porta spesso a supporre che una sottorete gestisca il codice Python, un’altra la grammatica spagnola e un’altra ancora le dimostrazioni matematiche. Senza un’analisi empirica di uno studio citato che dimostri tale comportamento su un checkpoint specifico, è meglio non presumere una specializzazione tematica interpretabile dagli esseri umani. Durante l’addestramento, il router appreso suddivide matematicamente gli input per minimizzare la perdita di addestramento; non sono garantite etichette di argomenti umani ben definite.

FAQ

Queste risposte affrontano domande pratiche comuni poste dagli addetti ai lavori quando valutano modelli linguistici mixture of experts sparsi.

Che cos’è un MoE in parole semplici?

Un MoE, o mixture of experts, è un progetto di rete neurale che sostituisce un grande livello feed-forward con diverse sottoreti esperte più piccole e un router appreso. Per ogni token in ingresso, il router seleziona solo un piccolo sottoinsieme di esperti da eseguire, mantenendo il calcolo per token inferiore alla dimensione totale del modello in parametri.

Qual è la differenza tra un modello denso e uno MoE?

Un modello linguistico denso usa il 100% dei propri parametri per elaborare ogni singolo token. Un modello linguistico MoE sparso memorizza più reti esperte per livello e indirizza ogni token solo agli esperti top-k. Di conseguenza, i modelli densi legano il calcolo direttamente ai parametri totali, mentre i MoE sparsi lo legano soprattutto ai parametri attivi.

Perché serve ancora tanta memoria per caricare un modello MoE?

Anche se ogni token usa solo una frazione dei parametri di un modello MoE, durante l’esecuzione token diversi possono essere indirizzati a qualsiasi esperto della rete. A meno che il sistema di servizio non usi l’offloading dei parametri, deve mantenere tutti i parametri caricati in memoria affinché ogni esperto sia subito raggiungibile.

Quanti esperti attiva un LLM MoE per token?

Il numero di esperti attivi per token, indicato con k, dipende dal progetto del modello. Switch Transformer indirizzava ogni token a un solo esperto (k=1) per ridurre al minimo il sovraccarico di instradamento e la comunicazione. Modelli pubblici come Mixtral 8x7B selezionano due esperti su otto per livello (k=2) e ne sommano gli output.

Mixture of experts sostituisce RAG o il fine-tuning?

Mixture of experts non sostituisce RAG o il fine-tuning perché ciascuno risolve un problema diverso. MoE definisce come i livelli interni indirizzano il calcolo all’interno dei pesi del modello. RAG recupera documenti esterni per fondare le risposte su dati aggiornati, mentre il fine-tuning aggiorna il comportamento del modello per compiti o formati di risposta specializzati.

Fonti

Le definizioni architetturali, le tappe storiche e le cifre di Mixtral 8x7B in questa spiegazione provengono dai seguenti articoli di ricerca originali e dalla documentazione ufficiale di rilascio.

Scritto da

Chunyu Cai

Chunyu Cai è l’amministratore delegato di Lotook, LLC e un imprenditore che scrive di modelli di IA, agenti e di come cambiano il lavoro quotidiano. Chunyu Cai ha conseguito un master presso Imperial College London.