Guias de IA · 10 min de leitura

O que é mixture of experts? Como funcionam os modelos de linguagem esparsos

Mixture of experts (MoE) encaminha cada token a poucas redes especialistas. Veja com Mixtral as diferenças de computação e custo dos modelos.

Ilustração de um fluxo de tokens passando por um pequeno router central que ilumina apenas alguns de vários blocos altos de especialistas

Mixture of experts (MoE, mistura de especialistas) é uma arquitetura de rede neural que divide uma camada em várias sub-redes especialistas e usa um router aprendido para direcionar cada entrada a um pequeno subconjunto delas. Em modelos de linguagem MoE esparsos, cada token ativa apenas uma fração dos parâmetros totais, separando a capacidade do modelo da computação por token.

Como funciona um LLM mixture of experts?

Um LLM mixture of experts substitui o bloco feed-forward padrão dentro das camadas Transformer por várias redes especialistas paralelas controladas por um router para cada token. Modelos Transformer padrão alternam camadas de atenção e camadas densas de rede feed-forward (FFN). Quando um modelo de linguagem usa uma arquitetura MoE, o bloco de atenção permanece compartilhado entre todas as entradas, enquanto o bloco FFN se torna um conjunto de sub-redes especialistas separadas, cada uma normalmente construída como sua própria FFN.

Como o router e os especialistas processam cada token

Cada token em um modelo de IA atravessa as camadas Transformer passo a passo, e o router avalia cada token de forma independente. O router, também chamado de rede de gating, é um componente aprendido dentro da camada. Em implementações típicas, ele consiste em uma pequena camada linear seguida de uma função softmax que pontua cada especialista disponível para o token recebido, juntamente com uma etapa de seleção top-k.

Depois que o router escolhe os k melhores especialistas para esse token, somente os selecionados calculam saídas para ele. O modelo então combina as saídas dos especialistas escolhidos, normalmente atribuindo pesos a elas e somando-as, antes de passar o estado oculto ao próximo bloco Transformer.

MoE esparso versus MoE denso

Os profissionais distinguem MoE denso de MoE esparso pelo número de especialistas executados em cada entrada. Em uma camada MoE densa, cada especialista é executado em cada entrada. Em uma camada mixture of experts esparsa, apenas o subconjunto top-k escolhido pelo router é executado para um determinado token. A menos que uma nota de arquitetura especifique explicitamente o roteamento denso, a documentação moderna de LLM usa MoE como abreviação do caso esparso.

Parâmetros ativos versus parâmetros totais em um modelo MoE

Entender a diferença entre parâmetros ativos e totais é essencial ao ler qualquer ficha de modelo MoE. Como um modelo MoE esparso armazena muitas redes especialistas, mas ativa apenas algumas por token, uma única contagem de parâmetros não descreve tanto seu tamanho em memória quanto sua computação por token.

Os parâmetros totais, às vezes chamados de parâmetros esparsos, contam todos os pesos do modelo: todas as FFN especialistas, os router, os blocos de atenção compartilhados e as camadas de embedding e saída. À medida que os criadores adicionam especialistas a cada camada, a contagem total de parâmetros aumenta.

Os parâmetros ativos contam apenas o subconjunto de pesos executados durante uma passagem direta para um token. Esse número inclui as camadas compartilhadas executadas para todos os tokens e os k especialistas escolhidos em cada camada MoE. Aumentar k eleva diretamente os parâmetros ativos, enquanto manter k fixo e adicionar mais especialistas deixa esse número praticamente inalterado, exceto pela pequena sobrecarga do router. A computação da passagem direta e a latência por token acompanham de perto os parâmetros ativos, enquanto a memória necessária para carregar o modelo continua relacionada aos parâmetros totais.

Mixture of experts versus modelo denso

Comparar mixture of experts a um modelo denso envolve entender como o número de parâmetros se relaciona com a computação por token e a memória do sistema. Em um Transformer denso, cada peso de cada camada feed-forward participa do processamento de cada token. Aumentar a capacidade de um modelo denso faz a computação por token crescer no mesmo ritmo.

Uma arquitetura MoE esparsa rompe essa relação. Ao aumentar o número total de especialistas n e manter constante o número selecionado k, engenheiros podem ampliar a capacidade total de parâmetros, mantendo a computação por token aproximadamente ligada a k mais o pequeno custo de executar o router.

Dimensão Modelo denso Modelo MoE esparso
Parâmetros totais Um conjunto unificado de pesos em todas as camadas Soma das camadas compartilhadas e de todas as n sub-redes especialistas
Parâmetros ativos por token Iguais aos parâmetros totais (100% ativos) Subconjunto das camadas compartilhadas mais os top-k especialistas por camada
Computação por token Cresce diretamente com o número total de parâmetros Cresce principalmente com os parâmetros ativos (mais um pequeno custo do router)
Memória para carregar o modelo Cresce com os parâmetros totais Cresce com os parâmetros totais (todos os especialistas geralmente ficam na memória)

A tabela destaca uma regra importante para avaliar modelos. Ao comparar velocidade de execução ou eficiência de computação por token, comparar um modelo MoE esparso com um modelo denso de tamanho ativo semelhante oferece uma base justa. Já a comparação com um modelo denso de mesmo número total de parâmetros coloca frente a frente cargas de trabalho diferentes.

De onde veio mixture of experts?

O conceito de mixture of experts antecede os grandes modelos de linguagem modernos em mais de duas décadas. Pesquisadores exploraram o roteamento condicional muito antes de existirem arquiteturas Transformer, adaptando gradualmente a ideia para uma escala enorme.

Em 1991, Robert Jacobs, Michael Jordan, Steven Nowlan e Geoffrey Hinton publicaram Adaptive Mixtures of Local Experts na Neural Computation, apresentando uma estrutura de aprendizado supervisionado na qual uma rede de gating encaminha entradas diferentes a redes especialistas locais separadas.

Em 2017, Noam Shazeer e coautores adaptaram o gating esparso à modelagem de linguagem em grande escala em Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, apresentado na ICLR 2017. O trabalho demonstrou que inserir camadas MoE com gating esparso permite que redes neurais alcancem números de parâmetros muito maiores sem aumentos proporcionais na computação por exemplo.

Em 2021, William Fedus, Barret Zoph e Noam Shazeer apresentaram Switch Transformers. Em vez de encaminhar tokens a dois ou mais especialistas, Switch routing envia cada token a k=1 especialista. Os autores argumentaram que o roteamento para um único especialista pode preservar a qualidade do modelo e reduzir a computação do router e a comunicação entre dispositivos em comparação com o roteamento k > 1.

Exemplo prático: Mixtral 8x7B

O lançamento do Mixtral 8x7B pela Mistral AI oferece um exemplo público claro, fornecido pelo próprio criador, de um modelo Mixtral mixture of experts com números de arquitetura totalmente documentados. Anunciado em 11 de dezembro de 2023 no post Mixtral of experts e detalhado no artigo Mixtral of Experts correspondente, o Mixtral 8x7B é um modelo de linguagem mixture-of-experts esparso somente com decodificador, lançado sob a licença Apache 2.0 com uma janela de contexto de 32k tokens.

No Mixtral 8x7B, o bloco feed-forward de cada camada Transformer contém 8 grupos de parâmetros especialistas. Para cada token em cada camada, um router aprendido escolhe 2 desses 8 especialistas (k=2) e combina suas saídas por adição.

As notas de lançamento da Mistral AI informam 46.7B parâmetros totais e 12.9B parâmetros usados por token (o artigo técnico arredonda os números para 47B no total e 13B ativos). Esses números mostram por que multiplicar 8 por 7B produz uma estimativa enganosa: componentes compartilhados, como blocos de atenção, não são replicados oito vezes. Assim, o total é de 46.7B parâmetros, enquanto a execução por token utiliza apenas 12.9B.

Como um lançamento MoE inicial, bem documentado e com pesos abertos, o Mixtral 8x7B mostra claramente os mecanismos centrais. Modelos de fronteira posteriores também adotaram camadas feed-forward esparsas no estilo MoE, embora fornecedores comerciais frequentemente não divulguem o número exato de especialistas e a organização do roteamento.

O que MoE significa para custo e escolha do modelo?

Arquiteturas mixture of experts alteram o equilíbrio entre o custo de inferência por token e a capacidade de memória do hardware ao escolher um modelo de IA. Entender como essas duas restrições se separam ajuda as equipes a evitar surpresas ao passar das fichas dos modelos para a hospedagem em produção ou a avaliação de APIs.

Computação por token versus uso de memória

Como a computação da passagem direta acompanha os parâmetros ativos, e não os totais, um modelo MoE esparso pode processar cada token com uma computação mais próxima da de um modelo denso menor. Menos computação por token costuma resultar em execução mais rápida por token ou custo computacional menor por token gerado, algo importante ao acompanhar formas de reduzir custos de API de IA em cargas de trabalho de alto volume.

O planejamento de memória funciona de outra forma. Servir um modelo MoE normalmente exige memória e largura de banda de memória suficientes para manter todos os especialistas ao mesmo tempo, pois diferentes tokens em um prompt ou lote podem ser encaminhados a qualquer especialista de qualquer camada. A menos que a implantação use descarregamento de parâmetros, hospedar o Mixtral 8x7B ainda exige que todos os 46.7B parâmetros caibam na memória, embora cada token ative 12.9B.

Escolher uma base de comparação justa

Quando avalio uma ficha de modelo para um projeto de implantação, registro os dois números lado a lado: parâmetros totais para dimensionar a memória e parâmetros ativos para estimar a computação. Comparar um modelo MoE com um modelo denso de tamanho ativo semelhante dá uma noção realista da computação por token, enquanto o número total de parâmetros indica qual categoria de hardware consegue carregar os pesos de fato.

O que mixture of experts não é?

Esclarecer o que um modelo MoE não é evita equívocos comuns sobre processos de treinamento, consulta a dados externos e o que os especialistas individuais realmente aprendem.

Arquitetura versus treinamento e recuperação

Mixture of experts é um padrão de arquitetura de rede neural incorporado às camadas de um modelo. Sua função é completamente diferente da de métodos após o treinamento, como ajuste fino ou destilação, que adaptam pesos existentes ou transferem capacidades para um modelo denso menor.

Mixture of experts também tem um papel diferente da geração aumentada por recuperação (RAG). RAG consulta bases de conhecimento externas durante a execução para inserir contexto relevante em um prompt, enquanto um router MoE apenas direciona tokens entre sub-redes internas dentro dos pesos fixos do modelo. Usar um modelo MoE não dá a um aplicativo a capacidade de recuperar documentos em tempo real.

Os especialistas se especializam em assuntos humanos?

O termo especialista frequentemente leva as pessoas a supor que uma sub-rede lida com código Python, outra com gramática espanhola e outra com demonstrações matemáticas. Sem uma análise empírica de um artigo citado que demonstre esse comportamento em um checkpoint específico, deve-se evitar presumir uma especialização temática interpretável por humanos. Durante o treinamento, o router aprendido divide as entradas matematicamente para minimizar a perda de treinamento, e rótulos claros de assuntos humanos não são garantidos.

FAQ

Estas respostas tratam de perguntas práticas comuns feitas por profissionais ao avaliar modelos de linguagem mixture of experts esparsos.

O que é um MoE em termos simples?

Um MoE, ou mixture of experts, é um projeto de rede neural que substitui uma grande camada feed-forward por várias sub-redes especialistas menores e um router aprendido. Para cada token recebido, o router seleciona apenas um pequeno subconjunto de especialistas para executar, mantendo a computação por token abaixo do tamanho total do modelo em parâmetros.

Qual é a diferença entre um modelo denso e um modelo MoE?

Um modelo de linguagem denso usa 100% de seus parâmetros para processar cada token. Um modelo de linguagem MoE esparso armazena várias redes especialistas por camada e encaminha cada token apenas aos especialistas top-k. Assim, modelos densos ligam a computação diretamente aos parâmetros totais, enquanto modelos MoE esparsos a ligam principalmente aos parâmetros ativos.

Por que ainda é preciso tanta memória para carregar um modelo MoE?

Embora cada token use apenas uma fração dos parâmetros de um modelo MoE, tokens diferentes podem ser encaminhados a qualquer especialista da rede durante a execução. A menos que a estrutura de serviço use descarregamento de parâmetros, o sistema precisa manter todos os parâmetros carregados na memória para que cada especialista esteja imediatamente acessível.

Quantos especialistas um LLM MoE ativa por token?

O número de especialistas ativos por token, indicado por k, depende do projeto do modelo. Switch Transformer encaminhava cada token a exatamente um especialista (k=1) para minimizar a sobrecarga de roteamento e a comunicação. Modelos públicos como Mixtral 8x7B selecionam dois de oito especialistas por camada (k=2) e somam suas saídas.

Mixture of experts substitui RAG ou ajuste fino?

Mixture of experts não substitui RAG nem ajuste fino, pois cada um resolve um problema diferente. MoE define como as camadas internas encaminham a computação dentro dos pesos do modelo. RAG recupera documentos externos para fundamentar respostas em dados atuais, enquanto o ajuste fino atualiza o comportamento do modelo para tarefas ou formatos de resposta especializados.

Fontes

As definições de arquitetura, os marcos históricos e os números do Mixtral 8x7B nesta explicação vêm dos seguintes artigos de pesquisa originais e da documentação oficial de lançamento.

Escrito por

Chunyu Cai

Chunyu Cai é CEO da Lotook, LLC e empreendedor. Escreve sobre modelos de IA, agentes e como eles mudam o trabalho cotidiano. Chunyu Cai tem um mestrado pela instituição Imperial College London.