Mixture of experts (MoE, mezcla de expertos) es una arquitectura de redes neuronales que divide una capa en varias subredes expertas y utiliza un router aprendido para dirigir cada entrada a un pequeño subconjunto de ellas. En los modelos de lenguaje MoE dispersos, cada token activa solo una fracción de los parámetros totales, lo que separa la capacidad del modelo del cálculo por token.
¿Cómo funciona un LLM mixture of experts?
Un LLM mixture of experts sustituye el bloque de alimentación hacia delante estándar dentro de las capas Transformer por varias redes expertas paralelas controladas por un router para cada token. Los modelos Transformer estándar alternan capas de atención y capas densas de redes de alimentación hacia delante (FFN). Cuando un modelo de lenguaje usa un diseño MoE, el bloque de atención sigue compartido entre todas las entradas, mientras que el bloque FFN se convierte en un conjunto de subredes expertas independientes, cada una construida normalmente como su propia FFN.
Cómo procesan cada token el router y los expertos
Cada token de un modelo de IA atraviesa las capas Transformer paso a paso, y el router evalúa cada token de forma independiente. El router, también llamado red de selección, es un componente aprendido dentro de la capa. En las implementaciones habituales, consta de una pequeña capa lineal seguida de una función softmax que puntúa a cada experto disponible para el token entrante, junto con una etapa de selección top-k.
Una vez que el router elige los k mejores expertos para ese token, solo los expertos seleccionados calculan sus salidas. A continuación, el modelo combina las salidas de los expertos elegidos, normalmente ponderándolas y sumándolas, antes de pasar el estado oculto al siguiente bloque Transformer.
MoE disperso frente a MoE denso
Los profesionales distinguen entre MoE denso y MoE disperso según el número de expertos que se ejecutan con cada entrada. En una capa MoE densa, todos los expertos se ejecutan para cada entrada. En una capa mixture of experts dispersa, solo se ejecuta para un token dado el subconjunto top-k elegido por el router. Salvo que una nota de arquitectura especifique expresamente un enrutamiento denso, la documentación moderna de LLM usa MoE como abreviatura del caso disperso.
Parámetros activos frente a parámetros totales en un modelo MoE
Entender la diferencia entre parámetros activos y totales es esencial al leer cualquier ficha de modelo MoE. Como un modelo MoE disperso almacena muchas redes expertas pero activa solo unas pocas por token, una única cifra de parámetros no puede describir tanto su tamaño en memoria como su cálculo por token.
Los parámetros totales, a veces llamados parámetros dispersos, cuentan todos los pesos del modelo: todas las FFN expertas, los router, los bloques de atención compartidos y las capas de embeddings y de salida. A medida que los creadores añaden más expertos a cada capa, aumenta el número total de parámetros.
Los parámetros activos cuentan solo el subconjunto de pesos ejecutados durante una pasada hacia delante para un token. La cifra incluye las capas compartidas que se ejecutan para cada token y los k expertos elegidos en cada capa MoE. Aumentar k incrementa directamente los parámetros activos; mantener k fijo y añadir más expertos apenas los cambia, salvo por la pequeña sobrecarga del router. El cálculo de la pasada hacia delante y la latencia por token siguen de cerca los parámetros activos, mientras que la memoria necesaria para cargar el modelo sigue dependiendo de los parámetros totales.
Mixture of experts frente a un modelo denso
Comparar mixture of experts con un modelo denso consiste en examinar cómo se relaciona el número de parámetros con el cálculo por token y la memoria del sistema. En un Transformer denso, cada peso de cada capa de alimentación hacia delante participa en el procesamiento de cada token. Ampliar la capacidad de un modelo denso obliga a que el cálculo por token crezca al mismo ritmo.
Una arquitectura MoE dispersa rompe esa relación. Al aumentar el número total de expertos n y mantener constante el número seleccionado k, los ingenieros pueden ampliar la capacidad total de parámetros mientras mantienen el cálculo por token ligado aproximadamente a k más el pequeño coste de ejecutar el router.
| Dimensión | Modelo denso | Modelo MoE disperso |
|---|---|---|
| Parámetros totales | Un conjunto unificado de pesos en todas las capas | Suma de las capas compartidas y todas las n subredes expertas |
| Parámetros activos por token | Iguales a los parámetros totales (100% activos) | Subconjunto de capas compartidas más los top-k expertos por capa |
| Cálculo por token | Crece directamente con el número total de parámetros | Crece principalmente con los parámetros activos (más un pequeño coste del router) |
| Memoria para cargar el modelo | Crece con los parámetros totales | Crece con los parámetros totales (todos los expertos suelen permanecer en memoria) |
La tabla destaca una regla fundamental para evaluar modelos. Al comparar la velocidad de ejecución o la eficiencia del cálculo por token, comparar un modelo MoE disperso con un modelo denso de tamaño activo similar ofrece una referencia justa. En cambio, compararlo con un modelo denso que tenga el mismo número total de parámetros enfrenta cargas de trabajo distintas.
¿De dónde viene mixture of experts?
El concepto mixture of experts precede a los grandes modelos de lenguaje modernos en más de dos décadas. Los investigadores exploraron el enrutamiento condicional mucho antes de que existieran las arquitecturas Transformer y adaptaron gradualmente la idea a una escala masiva.
En 1991, Robert Jacobs, Michael Jordan, Steven Nowlan y Geoffrey Hinton publicaron Adaptive Mixtures of Local Experts en Neural Computation. Presentaron un marco de aprendizaje supervisado en el que una red de selección dirige distintas entradas a redes expertas locales separadas.
En 2017, Noam Shazeer y sus coautores adaptaron la selección dispersa al modelado de lenguaje a gran escala en Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, presentado en ICLR 2017. Su trabajo demostró que insertar capas MoE con selección dispersa permite escalar las redes neuronales a un número de parámetros mucho mayor sin aumentar proporcionalmente el cálculo por ejemplo.
En 2021, William Fedus, Barret Zoph y Noam Shazeer presentaron Switch Transformers. En lugar de dirigir los tokens a dos o más expertos, Switch routing envía cada token a k=1 experto. Los autores sostuvieron que el enrutamiento a un solo experto puede preservar la calidad del modelo y reducir el cálculo del router y la comunicación entre dispositivos frente al enrutamiento con k > 1.
Ejemplo práctico: Mixtral 8x7B
La publicación de Mixtral 8x7B por Mistral AI ofrece un ejemplo público claro, de primera mano, de un modelo Mixtral mixture of experts con cifras de arquitectura completamente documentadas. Anunciado el 11 de diciembre de 2023 en la entrada de blog Mixtral of experts y detallado en el artículo Mixtral of Experts correspondiente, Mixtral 8x7B es un modelo de lenguaje mixture-of-experts disperso y solo con decodificador, publicado bajo la licencia Apache 2.0 y con una longitud de contexto de 32k tokens.
En Mixtral 8x7B, el bloque de alimentación hacia delante de cada capa Transformer contiene 8 grupos de parámetros expertos. Para cada token en cada capa, un router aprendido elige 2 de esos 8 expertos (k=2) y combina sus salidas mediante una suma.
Las notas de publicación de Mistral AI indican 46.7B parámetros totales y 12.9B parámetros utilizados por token (el artículo técnico redondea esas cifras a 47B totales y 13B activos). Estas cifras muestran por qué multiplicar 8 por 7B produce una estimación engañosa: los componentes compartidos, como los bloques de atención, no se replican ocho veces. Por eso hay 46.7B parámetros totales, mientras que la ejecución por token utiliza solo 12.9B.
Como publicación temprana de MoE con pesos abiertos y bien documentada, Mixtral 8x7B muestra claramente los mecanismos fundamentales. Los modelos de vanguardia posteriores también han adoptado capas dispersas de alimentación hacia delante de tipo MoE, aunque los proveedores comerciales suelen omitir el número exacto de expertos y las configuraciones de enrutamiento.
¿Qué significa MoE para los costes y la elección del modelo?
Las arquitecturas mixture of experts modifican el equilibrio entre el coste de inferencia por token y la capacidad de memoria del hardware al elegir un modelo de IA. Entender cómo se separan estas dos limitaciones ayuda a los equipos a evitar sorpresas al pasar de las fichas de modelos al alojamiento en producción o a la evaluación de API.
Cálculo por token frente a uso de memoria
Como el cálculo de una pasada hacia delante depende de los parámetros activos y no de los totales, un modelo MoE disperso puede procesar cada token con un cálculo más cercano al de un modelo denso más pequeño. Un menor cálculo por token suele traducirse en una ejecución más rápida por token o en un coste de cálculo menor por token generado, algo importante si se estudian formas de reducir los costes de API de IA para cargas de trabajo de gran volumen.
La planificación de memoria funciona de otra manera. Servir un modelo MoE requiere normalmente memoria y ancho de banda de memoria suficientes para mantener todo el conjunto de expertos a la vez, ya que distintos tokens de un prompt o lote pueden dirigirse a cualquier experto de cualquier capa. Salvo que el despliegue use descarga de parámetros, alojar Mixtral 8x7B sigue requiriendo que los 46.7B parámetros quepan en memoria, aunque cada token active 12.9B.
Elegir una base de comparación justa
Cuando reviso una ficha de modelo para un proyecto de despliegue, anoto ambas cifras juntas: los parámetros totales para dimensionar la memoria y los activos para estimar el cálculo. Comparar un modelo MoE con un modelo denso de tamaño activo similar ofrece una idea realista del cálculo por token, mientras que el número total de parámetros indica qué categoría de hardware puede cargar realmente los pesos.
¿Qué no es mixture of experts?
Aclarar qué no es un modelo MoE evita errores frecuentes sobre los procesos de entrenamiento, la consulta de datos externos y lo que realmente aprenden los expertos individuales.
Arquitectura frente a entrenamiento y recuperación
Mixture of experts es un patrón de arquitectura de redes neuronales integrado en las capas de un modelo. Cumple una función completamente distinta de los métodos posteriores al entrenamiento, como el ajuste fino o la destilación, que adaptan los pesos existentes o transfieren capacidades a un modelo denso más pequeño.
Mixture of experts también tiene una función distinta de la generación aumentada por recuperación (RAG). RAG consulta bases de conocimiento externas durante la ejecución para añadir contexto relevante a un prompt, mientras que un router MoE simplemente dirige tokens entre subredes internas dentro de los pesos fijos del modelo. Usar un modelo MoE no proporciona a una aplicación recuperación de documentos en tiempo real.
¿Se especializan los expertos en temas humanos?
El término experto suele llevar a pensar que una subred se ocupa del código Python, otra de la gramática española y otra de las demostraciones matemáticas. Sin un análisis empírico de un artículo citado que demuestre ese comportamiento en un checkpoint concreto, conviene no dar por supuesta una especialización temática interpretable por humanos. Durante el entrenamiento, el router aprendido divide las entradas matemáticamente para minimizar la pérdida de entrenamiento, y no se garantizan etiquetas claras de materias humanas.
FAQ
Estas respuestas abordan preguntas prácticas frecuentes de quienes evalúan modelos de lenguaje mixture of experts dispersos.
¿Qué es un MoE en palabras sencillas?
Un MoE, o mixture of experts, es un diseño de red neuronal que sustituye una capa grande de alimentación hacia delante por varias subredes expertas más pequeñas y un router aprendido. Para cada token entrante, el router selecciona solo un pequeño subconjunto de expertos que se ejecutarán, lo que mantiene el cálculo por token por debajo del tamaño total del modelo en parámetros.
¿Cuál es la diferencia entre un modelo denso y uno MoE?
Un modelo de lenguaje denso usa el 100% de sus parámetros para procesar cada token. Un modelo de lenguaje MoE disperso almacena varias redes expertas por capa y dirige cada token solo a los expertos top-k. Así, los modelos densos vinculan el cálculo directamente a los parámetros totales, mientras que los MoE dispersos lo vinculan principalmente a los parámetros activos.
¿Por qué sigue haciendo falta tanta memoria para cargar un modelo MoE?
Aunque cada token usa solo una fracción de los parámetros de un modelo MoE, durante la ejecución distintos tokens pueden dirigirse a cualquier experto de la red. Salvo que el sistema de servicio utilice descarga de parámetros, debe mantener todos los parámetros cargados en memoria para que cada experto esté disponible de inmediato.
¿Cuántos expertos activa un LLM MoE por token?
El número de expertos activos por token, representado como k, depende del diseño del modelo. Switch Transformer dirigía cada token a exactamente un experto (k=1) para minimizar la sobrecarga de enrutamiento y la comunicación. Los modelos públicos como Mixtral 8x7B seleccionan dos de ocho expertos por capa (k=2) y suman sus salidas.
¿Sustituye mixture of experts a RAG o al ajuste fino?
Mixture of experts no sustituye a RAG ni al ajuste fino porque cada uno resuelve un problema diferente. MoE define cómo las capas internas encaminan el cálculo dentro de los pesos del modelo. RAG recupera documentos externos para fundamentar las respuestas en datos actuales, mientras que el ajuste fino actualiza el comportamiento del modelo para tareas o formatos de respuesta especializados.
Fuentes
Las definiciones de arquitectura, los hitos históricos y las cifras de Mixtral 8x7B de esta explicación proceden de los siguientes artículos de investigación originales y de la documentación oficial de publicación.
- Adaptive Mixtures of Local Experts (Jacobs, Jordan, Nowlan y Hinton, 1991)
- Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (Shazeer y otros, 2017)
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity (Fedus, Zoph y Shazeer, 2021)
- Mixtral of experts (blog de Mistral AI, 11 de diciembre de 2023)
- Mixtral of Experts (artículo técnico de Mistral AI, arXiv:2401.04088)



