O Que É Mixture of Experts: Como Modelos MoE Reduzem Custo Computacional

Modelos de linguagem densos tornaram-se caros demais para escalar. Cada token gerado força o processamento de centenas de bilhões de conexões neurais simultâneas.

Essa abordagem monolítica satura clusters de hardware. Ela consome eletricidade massiva e eleva o custo por milhão de tokens gerados.

A arquitetura Mixture of Experts soluciona esse gargalo computacional. Ela permite expandir a capacidade de conhecimento da rede enquanto ativa apenas uma fração dos cálculos a cada palavra.

Grandes modelos de fronteira adotaram essa engenharia esparsa. Plataformas como Mixtral, DeepSeek-V3 e Grok operam sob esse princípio estrutural.

Neste guia do Almanaque MaxVision Labs, analisamos a matemática de Mixture of Experts. Você entenderá o roteamento esparso, o impacto em memória de vídeo e o balanceamento de carga.

O que é Mixture of Experts e como funciona a arquitetura esparsa?

Mixture of Experts é uma arquitetura de redes neurais que divide camadas densas de computação em múltiplos submodelos especializados, chamados especialistas. Uma rede de roteamento seleciona dinamicamente quais especialistas processam cada token. O sistema mantém latência de modelos compactos enquanto preserva a capacidade factual de redes gigantescas.

Nos modelos Transformer convencionais, cada token atravessa todas as matrizes da rede. A camada de atenção captura dependências temporais contextuais. Em seguida, a camada Feed-Forward Network realiza transformações não lineares sobre as representações.

Em arquiteturas densas modernas com ativações SwiGLU, a camada Feed-Forward concentra até 70% dos parâmetros totais. Todo cálculo nessa etapa é executado de forma obrigatória e incondicional.

A arquitetura Sparse Mixture of Experts altera essa dinâmica. A camada de atenção permanece densa e compartilhada entre todos os vetores. No entanto, a camada Feed-Forward é desmembrada em um conjunto de especialistas independentes.

Cada especialista consiste em uma rede neural menor com matrizes próprias. Durante a passagem para a frente, o modelo despacha cada token apenas para os especialistas mais relevantes.

Pesquisadores pioneiros formalizaram essa esparsidade estruturada no artigo Outrageously Large Neural Networks. Esse trabalho demonstrou que redes neurais podem crescer mil vezes sem exigir aumentos proporcionais de capacidade de processamento.

Como funciona o roteamento esparso e a seleção Top-K?

O roteamento esparso opera por meio de uma rede de decisão chamada router ou gating network. Essa camada calcula afinidades matemáticas entre o vetor do token e cada especialista disponível. O algoritmo seleciona apenas os maiores coeficientes, utilizando a operação seletiva Top-K para direcionar o processamento.

A camada de roteamento utiliza uma matriz de projeção linear. Para um vetor de entrada x, a rede calcula logits de afinidade não normalizados através da fórmula H(x) = x · W_g.

Em seguida, o sistema aplica uma função de corte Top-K sobre esses valores:

• Top-1 Gating: Seleciona um único especialista por token, conforme demonstrado no paper do Switch Transformer. Reduz a sobrecarga de comunicação entre placas aceleradoras.
• Top-2 Gating: Seleciona os dois especialistas com maiores pontuações, como no Mixtral 8x7B. Permite combinar domínios de conhecimento complementares.
• Fine-Grained Routing: Divide a camada em dezenas de especialistas estreitos e seleciona múltiplos subconjuntos, conforme implementado no DBRX.

Após o corte, o modelo normaliza as pontuações dos especialistas selecionados via função Softmax. Se um especialista não estiver entre os escolhidos, seu peso na equação torna-se zero.

A saída da camada para o token é calculada pela soma ponderada: y = ∑_{i ∈ TopK} G(x)_i × E_i(x).

Como a soma dos coeficientes ativos totaliza exatamente um, a escala do tensor de ativação permanece conservada. Nenhum cálculo matemático é desperdiçado nos especialistas que receberam peso zero.

Qual é a diferença entre parâmetros totais e parâmetros ativos?

Parâmetros totais representam a soma de todos os pesos numéricos armazenados em disco e carregados na memória do sistema. Parâmetros ativos correspondem unicamente aos tensores multiplicados durante o processamento de um token individual. Essa separação permite operar modelos de grande porte com a velocidade de redes compactas.

Compreender essa distinção evita confusões frequentes sobre a escala de modelos MoE. O nome comercial Mixtral 8x7B sugere um total de 56 bilhões de parâmetros. No entanto, o modelo abriga exatamente 46,7 bilhões de parâmetros totais.

Essa diferença ocorre porque as camadas de atenção, normalização e embeddings são compartilhadas. Apenas as matrizes internas da camada Feed-Forward multiplicam-se por oito especialistas.

Ao gerar texto, o Mixtral ativa a atenção compartilhada e apenas dois especialistas por camada. Esse processo mobiliza aproximadamente 12,9 bilhões de parâmetros ativos por token.

O modelo DeepSeek-V3 levou essa otimização para um patamar inédito. A rede possui 671 bilhões de parâmetros totais, mas emprega 256 especialistas de granularidade fina por camada.

Ao rotear apenas oito especialistas somados a um especialista compartilhado fixo, o DeepSeek-V3 ativa 37 bilhões de parâmetros por token. O modelo entrega capacidade enciclopédica executando a fração de operações de uma rede enxuta.

Essa proporção reduzida de ativação viabiliza o treinamento e a inferência com custos energéticos substancialmente menores.

Quais são os grandes trade-offs de engenharia entre VRAM e FLOPs?

O principal ganho de Mixture of Experts reside na redução de operações de ponto flutuante necessárias para cada token. Em contrapartida, todos os especialistas precisam permanecer carregados na memória de vídeo das placas aceleradoras. Esse requisito impõe alta demanda de memória física mesmo com baixo custo computacional.

O custo de cálculo por token equivale aproximadamente a duas vezes o volume de parâmetros ativos: FLOPs ≈ 2 × Parâmetros_Ativos.

O Mixtral 8x7B consome cerca de 25,8 GFLOPs por token. Esse valor representa uma redução de 81,5% em comparação com modelos densos de 70 bilhões de parâmetros.

A latência de cálculo nos núcleos tensores diminui proporcionalmente. O sistema entrega uma taxa elevada de palavras por segundo com menor dissipação térmica.

Entretanto, durante a inferência interativa, o roteador pode convocar qualquer especialista a qualquer instante. Buscar tensores da memória RAM central através do barramento PCIe introduziria atrasos inaceitáveis.

Portanto, a quantidade de memória VRAM necessária para hospedar a rede é determinada pelos seus parâmetros totais. A tabela abaixo detalha essa exigência sob diferentes formatos de precisão numérica:

Quando um modelo excede a capacidade de uma placa aceleradora, os especialistas são distribuídos via paralelismo de especialistas. A documentação técnica do DeepSpeed-MoE explora detalhadamente essas divisões em supercomputadores.

Nesse cenário, as GPUs realizam comunicações coletivas constantes do tipo All-to-All para despachar tokens entre nós de rede. Se a largura de banda for insuficiente, os processadores permanecem ociosos aguardando transferências de dados.

Para superar esse gargalo em produção, motores modernos de inferência como o vLLM utilizam kernels fundidos em CUDA. Eles executam transferências de dados e cálculos de atenção em canais paralelos de hardware.

O que é o colapso de especialistas e como o balanceamento de carga atua?

O colapso de especialistas é uma falha de treinamento em que a rede de roteamento direciona quase todos os tokens para os mesmos submodelos. Os especialistas preferidos recebem atualizações contínuas enquanto os demais permanecem ociosos. Algoritmos de balanceamento de carga corrigem esse desvio garantindo distribuição homogênea de trabalho.

No início do treinamento, flutuações estatísticas aleatórias nos pesos iniciais fazem alguns especialistas gerarem perdas ligeiramente menores. O roteador aprende rapidamente a rota mais conveniente, ignorando os demais canais.

Um modelo de cem bilhões de parâmetros pode colapsar funcionalmente na capacidade de uma rede de dez bilhões. Além disso, a GPU que abriga o especialista sobrecarregado sofre gargalos severos de fila.

A literatura clássica de inteligência artificial adotou duas estratégias para mitigar essa distorção:

1. Fator de Capacidade e Descarte: O sistema impõe um limite máximo de tokens para cada especialista. Tokens excedentes são descartados ou ignoram a etapa através de conexões residuais.
2. Perda Auxiliar de Balanceamento: Introduz-se uma penalidade matemática na função de perda que pune distribuições assimétricas, incentivando médias uniformes de ativação.

A perda auxiliar clássica impõe um efeito colateral indesejado. Ela força o roteador a tomar decisões subótimas de linguagem apenas para satisfazer metas estatísticas de equilíbrio.

O DeepSeek-V3 superou esse dilema ao introduzir o roteamento livre de perda auxiliar. O modelo adiciona um viés numérico adaptativo aos logits durante a seleção dos especialistas mais qualificados.

Se um especialista acumula excesso de carga, seu viés de seleção diminui gradualmente. O cálculo final dos pesos ignora esse ajuste, preservando a pureza dos gradientes de aprendizado.

Como os modelos MoE evoluíram de 2017 a 2026?

A evolução dos modelos MoE partiu de experimentos em redes recorrentes até se tornar a arquitetura dominante de modelos de fronteira. A tecnologia migrou de poucos especialistas monolíticos para centenas de sub-redes estreitas com especialistas compartilhados. Essa transição viabilizou modelos de raciocínio profundo com alta eficiência energética.

Em 2017, engenheiros introduziram o roteamento com ruído gaussiano para estabilizar a seleção discreta em camadas neurais. Em 2021, o Google apresentou o Switch Transformer, demonstrando a viabilidade de modelos com mais de um trilhão de parâmetros.

A virada na indústria ocorreu com o lançamento do Mixtral 8x7B pela Mistral AI no final de 2023. O modelo de código aberto superou concorrentes densos maiores consumindo um terço dos recursos operacionais.

Em seguida, a empresa xAI liberou o repositório aberto do Grok-1, revelando uma rede com 314 bilhões de parâmetros totais e 86 bilhões ativos.

A arquitetura atingiu maturidade refinada com o lançamento do DeepSeek-R1. Esse modelo de raciocínio avançado combina esparsidade estruturada com aprendizado por reforço em larga escala.

O guia conceitual do Hugging Face reforça que o paradigma esparso representa o caminho mais sustentável para a expansão contínua da inteligência artificial.

Perguntas Frequentes sobre Mixture of Experts (MoE)

O que é Mixture of Experts em inteligência artificial?

Mixture of Experts é uma arquitetura de aprendizado profundo que substitui camadas densas por múltiplos submodelos especializados. Uma rede de roteamento ativa apenas um subconjunto de especialistas para processar cada token de entrada. Essa divisão desacopla o tamanho do modelo do custo computacional necessário para gerar respostas.

Por que modelos MoE exigem tanta memória VRAM se ativam poucos parâmetros?

A memória de vídeo precisa armazenar todos os especialistas carregados simultaneamente para garantir respostas imediatas. Não é possível prever com antecedência quais especialistas serão acionados pelos próximos tokens do texto. A VRAM necessária é calculada pelo total de parâmetros do modelo, e não pelo volume ativo.

Qual é a diferença entre o Mixtral 8x7B e um modelo denso de 70B?

O Mixtral possui 46,7 bilhões de parâmetros totais e mobiliza apenas 12,9 bilhões de conexões ativas por palavra gerada. Um modelo denso de 70 bilhões executa cálculos sobre todos os seus parâmetros a cada token emitido. O Mixtral atinge desempenho comparável ou superior com uma fração do custo de processamento.

O que é o colapso de especialistas em treinamento de MoE?

O colapso de especialistas ocorre quando o roteador passa a despachar a maioria dos tokens para os mesmos especialistas favoritos. Os especialistas negligenciados deixam de receber gradientes e tornam-se inativos durante o treinamento. Engenheiros utilizam viés dinâmico de roteamento e balanceamento de carga para evitar essa degradação.

É possível rodar modelos MoE localmente em computadores pessoais?

Sim, desde que a máquina disponha de memória de vídeo ou memória RAM unificada suficiente para abrigar os pesos brutos. Versões quantizadas em quatro bits do Mixtral 8x7B rodam em computadores com 32 gigabytes de memória unificada. A geração de texto atinge velocidades elevadas porque a demanda de processamento permanece compatível com redes pequenas.

Conclusão

A arquitetura Mixture of Experts redefiniu as fronteiras de eficiência e escala na inteligência artificial moderna. Ao desacoplar o conhecimento total da rede do volume de cálculos por token, o paradigma esparso tornou viável operar modelos de centenas de bilhões de parâmetros com alta velocidade e viabilidade econômica.

Entender essa arquitetura é fundamental para desenvolvedores e líderes de tecnologia que planejam hospedar modelos fundacionais em ambientes corporativos. A decisão entre arquiteturas densas e esparsas passa pelo dimensionamento correto de memória de vídeo, largura de banda de interconexão e perfil de latência da aplicação.

Na Produtora MaxVision, nossa divisão técnica auxilia empresas no desenho de infraestrutura e na implementação de soluções robustas de inteligência artificial. Para desenhar pipelines eficientes com modelos de fronteira ajustados ao seu negócio, explore as capacidades do nosso laboratório em MaxVision Labs.