Mixture of experts (MoE, mélange d’experts) est une architecture de réseau neuronal qui divise une couche en plusieurs sous-réseaux experts et utilise un router entraîné pour diriger chaque entrée vers un petit sous-ensemble de ces réseaux. Dans les modèles de langage MoE clairsemés, chaque token n’active qu’une fraction des paramètres totaux, ce qui sépare la capacité du modèle du calcul par token.
Comment fonctionne un LLM mixture of experts ?
Un LLM mixture of experts remplace le bloc feed-forward standard des couches Transformer par plusieurs réseaux experts parallèles contrôlés par un router pour chaque token. Les modèles Transformer standard alternent entre des couches d’attention et des couches de réseau feed-forward dense (FFN). Dans une architecture MoE, le bloc d’attention reste partagé entre toutes les entrées, tandis que le bloc FFN devient un ensemble de sous-réseaux experts distincts, généralement construits chacun comme un FFN.
Comment le router et les experts traitent chaque token
Chaque token dans un modèle d’IA traverse les couches Transformer étape par étape, et le router évalue chaque token indépendamment. Le router, aussi appelé réseau de sélection, est un composant entraîné dans la couche. Dans les implémentations typiques, il comprend une petite couche linéaire suivie d’une fonction softmax qui attribue un score à chaque expert disponible pour le token entrant, puis une étape de sélection top-k.
Une fois que le router a choisi les k meilleurs experts pour ce token, seuls ces experts calculent des sorties pour celui-ci. Le modèle combine ensuite les sorties des experts choisis, généralement en les pondérant et en les additionnant, avant de transmettre l’état caché au bloc Transformer suivant.
MoE clairsemé et MoE dense
Les spécialistes distinguent les MoE denses et clairsemés selon le nombre d’experts exécutés pour chaque entrée. Dans une couche MoE dense, chaque expert traite chaque entrée. Dans une couche mixture of experts clairsemée, seul le sous-ensemble top-k choisi par le router traite un token donné. Sauf si une note d’architecture précise explicitement un routage dense, la documentation moderne des LLM utilise MoE pour désigner le cas clairsemé.
Paramètres actifs et paramètres totaux dans un modèle MoE
Comprendre la différence entre paramètres actifs et paramètres totaux est essentiel pour lire une fiche de modèle MoE. Un modèle MoE clairsemé stocke de nombreux réseaux experts mais n’en active que quelques-uns par token : un seul nombre de paramètres ne peut donc décrire à la fois sa taille en mémoire et son calcul par token.
Les paramètres totaux, parfois appelés paramètres clairsemés, comptent tous les poids du modèle : tous les FFN experts, les router, les blocs d’attention partagés et les couches d’intégration et de sortie. Lorsque les concepteurs ajoutent des experts à chaque couche, le nombre total de paramètres augmente.
Les paramètres actifs ne comptent que les poids utilisés lors d’une passe avant pour un token. Ce chiffre comprend les couches partagées exécutées pour chaque token et les k experts choisis dans chaque couche MoE. Augmenter k accroît directement les paramètres actifs ; garder k fixe tout en ajoutant des experts laisse leur nombre presque inchangé, hormis le léger surcoût du router. Le calcul de la passe avant et la latence par token suivent de près les paramètres actifs, tandis que la mémoire nécessaire pour charger le modèle dépend toujours des paramètres totaux.
Mixture of experts et modèle dense
Comparer mixture of experts à un modèle dense revient à examiner le lien entre le nombre de paramètres, le calcul par token et la mémoire du système. Dans un Transformer dense, chaque poids de chaque couche feed-forward participe au traitement de chaque token. Augmenter la capacité d’un modèle dense impose une hausse du calcul par token au même rythme.
Une architecture MoE clairsemée rompt ce lien. En augmentant le nombre total d’experts n tout en gardant constant le nombre k d’experts sélectionnés, les ingénieurs peuvent accroître la capacité totale en paramètres tout en maintenant le calcul par token à un niveau approximativement lié à k, plus le faible coût du router.
| Dimension | Modèle dense | Modèle MoE clairsemé |
|---|---|---|
| Paramètres totaux | Un ensemble unifié de poids dans toutes les couches | Somme des couches partagées et des n sous-réseaux experts |
| Paramètres actifs par token | Égaux aux paramètres totaux (100% actifs) | Sous-ensemble constitué des couches partagées et des top-k experts par couche |
| Calcul par token | Augmente directement avec le nombre total de paramètres | Augmente surtout avec les paramètres actifs (plus un faible coût du router) |
| Mémoire pour charger le modèle | Augmente avec les paramètres totaux | Augmente avec les paramètres totaux (tous les experts restent généralement en mémoire) |
Le tableau met en évidence une règle essentielle pour évaluer les modèles. Pour comparer la vitesse d’exécution ou l’efficacité du calcul par token, un modèle dense de taille active similaire offre une base équitable face à un modèle MoE clairsemé. Un modèle dense ayant le même nombre total de paramètres correspond en revanche à une charge de travail différente.
D’où vient mixture of experts ?
Le concept mixture of experts précède les grands modèles de langage modernes de plus de deux décennies. Les chercheurs ont exploré le routage conditionnel bien avant l’existence des architectures Transformer, puis ont progressivement adapté cette idée à une échelle massive.
En 1991, Robert Jacobs, Michael Jordan, Steven Nowlan et Geoffrey Hinton ont publié Adaptive Mixtures of Local Experts dans Neural Computation. Ils y présentaient un cadre d’apprentissage supervisé où un réseau de sélection dirige différentes entrées vers des réseaux experts locaux distincts.
En 2017, Noam Shazeer et ses coauteurs ont adapté la sélection clairsemée à la modélisation du langage à grande échelle dans Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, présenté à ICLR 2017. Leurs travaux ont montré que l’ajout de couches MoE à sélection clairsemée permet aux réseaux neuronaux d’atteindre des nombres de paramètres bien plus élevés sans augmentation proportionnelle du calcul par exemple.
En 2021, William Fedus, Barret Zoph et Noam Shazeer ont présenté Switch Transformers. Au lieu de diriger les tokens vers deux experts ou plus, Switch routing envoie chaque token à k=1 expert. Les auteurs ont soutenu que ce routage vers un seul expert peut préserver la qualité du modèle tout en réduisant le calcul du router et les communications entre appareils par rapport au routage k > 1.
Exemple détaillé : Mixtral 8x7B
La publication de Mixtral 8x7B par Mistral AI fournit un exemple public clair, provenant directement de son créateur, d’un modèle Mixtral mixture of experts dont les chiffres d’architecture sont entièrement documentés. Annoncé le 11 décembre 2023 dans le billet Mixtral of experts et détaillé dans l’article Mixtral of Experts associé, Mixtral 8x7B est un modèle de langage mixture-of-experts clairsemé à décodeur seul, publié sous licence Apache 2.0 avec une longueur de contexte de 32k tokens.
Dans Mixtral 8x7B, le bloc feed-forward de chaque couche Transformer contient 8 groupes de paramètres experts. Pour chaque token et à chaque couche, un router entraîné choisit 2 de ces 8 experts (k=2) et additionne leurs sorties.
Les notes de publication de Mistral AI indiquent 46.7B paramètres au total et 12.9B paramètres utilisés par token (l’article technique arrondit ces chiffres à 47B au total et 13B actifs). Ces chiffres montrent pourquoi multiplier 8 par 7B donne une estimation trompeuse : les composants partagés comme les blocs d’attention ne sont pas reproduits huit fois. Le total est donc de 46.7B paramètres, tandis que l’exécution par token n’en utilise que 12.9B.
En tant que première publication MoE bien documentée avec des poids ouverts, Mixtral 8x7B illustre clairement les mécanismes essentiels. Des modèles de pointe ultérieurs ont aussi adopté des couches feed-forward clairsemées de type MoE, même si les fournisseurs commerciaux ne divulguent souvent ni le nombre exact d’experts ni l’organisation du routage.
Que signifie MoE pour les coûts et le choix du modèle ?
Les architectures mixture of experts modifient l’équilibre entre le coût d’inférence par token et la capacité mémoire du matériel lors du choix d’un modèle d’IA. Comprendre la distinction entre ces deux contraintes aide les équipes à éviter les surprises lorsqu’elles passent des fiches de modèles à l’hébergement en production ou à l’évaluation d’une API.
Calcul par token et empreinte mémoire
Comme le calcul d’une passe avant suit les paramètres actifs plutôt que les paramètres totaux, un modèle MoE clairsemé peut traiter chaque token avec un calcul plus proche de celui d’un modèle dense plus petit. Un calcul par token réduit se traduit souvent par une exécution plus rapide ou un coût de calcul inférieur par token généré, ce qui compte lorsque vous examinez les moyens de réduire les coûts d’API d’IA pour des charges de travail importantes.
La planification de la mémoire fonctionne autrement. Servir un modèle MoE exige normalement suffisamment de mémoire et de bande passante mémoire pour conserver tous les experts simultanément, car différents tokens d’un prompt ou d’un lot peuvent être dirigés vers n’importe quel expert de n’importe quelle couche. Sans déchargement des paramètres, héberger Mixtral 8x7B exige toujours de placer les 46.7B paramètres en mémoire, même si chaque token en active 12.9B.
Choisir une base de comparaison équitable
Lorsque j’examine une fiche de modèle pour un projet de déploiement, je note les deux chiffres côte à côte : les paramètres totaux pour dimensionner la mémoire et les paramètres actifs pour estimer le calcul. Comparer un modèle MoE à un modèle dense de taille active similaire donne une idée réaliste du calcul par token, tandis que le nombre total de paramètres indique quelle catégorie de matériel peut effectivement charger les poids.
Ce que mixture of experts n’est pas
Préciser ce qu’un modèle MoE n’est pas permet d’éviter des idées reçues sur les processus d’entraînement, la recherche de données externes et ce que les experts individuels apprennent réellement.
Architecture, entraînement et recherche
Mixture of experts est un modèle d’architecture de réseau neuronal intégré aux couches d’un modèle. Il remplit une fonction totalement différente des méthodes après entraînement comme le fine-tuning ou la distillation, qui adaptent les poids existants ou transfèrent des capacités vers un modèle dense plus petit.
Mixture of experts joue également un rôle différent de la génération augmentée par récupération (RAG). RAG interroge des bases de connaissances externes à l’exécution pour ajouter un contexte pertinent à un prompt, tandis qu’un router MoE dirige simplement les tokens entre des sous-réseaux internes aux poids fixes du modèle. Utiliser un modèle MoE ne donne pas à une application la capacité de récupérer des documents en temps réel.
Les experts se spécialisent-ils dans des sujets humains ?
Le terme expert conduit souvent à supposer qu’un sous-réseau traite le code Python, un autre la grammaire espagnole et un autre les démonstrations mathématiques. Sans analyse empirique issue d’un article cité démontrant ce comportement sur un checkpoint précis, il faut éviter de supposer une spécialisation thématique interprétable par les humains. Pendant l’entraînement, le router entraîné répartit mathématiquement les entrées pour minimiser la perte d’entraînement ; des étiquettes de sujets humains clairement définies ne sont pas garanties.
FAQ
Ces réponses abordent des questions pratiques fréquentes lors de l’évaluation de modèles de langage mixture of experts clairsemés.
Qu’est-ce qu’un MoE en termes simples ?
Un MoE, ou mixture of experts, est une conception de réseau neuronal qui remplace une grande couche feed-forward par plusieurs petits sous-réseaux experts et un router entraîné. Pour chaque token entrant, le router ne sélectionne qu’un petit sous-ensemble d’experts à exécuter, ce qui maintient le calcul par token en dessous de la taille totale du modèle en paramètres.
Quelle est la différence entre un modèle dense et un modèle MoE ?
Un modèle de langage dense utilise 100% de ses paramètres pour traiter chaque token. Un modèle de langage MoE clairsemé stocke plusieurs réseaux experts par couche et dirige chaque token uniquement vers les experts top-k. Ainsi, les modèles denses lient directement le calcul aux paramètres totaux, tandis que les modèles MoE clairsemés le lient surtout aux paramètres actifs.
Pourquoi faut-il encore autant de mémoire pour charger un modèle MoE ?
Même si chaque token n’utilise qu’une fraction des paramètres d’un modèle MoE, différents tokens peuvent être dirigés vers n’importe quel expert du réseau à l’exécution. Sauf si le système de déploiement décharge des paramètres, il doit garder tous les paramètres en mémoire afin que chaque expert reste immédiatement accessible.
Combien d’experts un LLM MoE active-t-il par token ?
Le nombre d’experts actifs par token, noté k, dépend de la conception du modèle. Switch Transformer dirigeait chaque token vers exactement un expert (k=1) afin de minimiser le surcoût du routage et les communications. Des modèles publics comme Mixtral 8x7B sélectionnent deux experts sur huit par couche (k=2) et additionnent leurs sorties.
Mixture of experts remplace-t-il RAG ou le fine-tuning ?
Mixture of experts ne remplace ni RAG ni le fine-tuning, car chacun résout un problème différent. MoE définit comment les couches internes dirigent le calcul à l’intérieur des poids du modèle. RAG récupère des documents externes pour fonder les réponses sur des données actuelles, tandis que le fine-tuning modifie le comportement du modèle pour des tâches ou formats de réponse spécialisés.
Sources
Les définitions architecturales, les étapes historiques et les chiffres de Mixtral 8x7B présentés ici proviennent des articles de recherche originaux et de la documentation officielle de publication ci-dessous.
- Adaptive Mixtures of Local Experts (Jacobs, Jordan, Nowlan et Hinton, 1991)
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (Shazeer et al., 2017)
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity (Fedus, Zoph et Shazeer, 2021)
- Mixtral of experts (blog de Mistral AI, 11 décembre 2023)
- Mixtral of Experts (article technique de Mistral AI, arXiv:2401.04088)



