Em um modelo Mixture of Experts, uma rede de roteamento (gating) envia cada token a um pequeno subconjunto de sub-redes “especialistas”, de modo que apenas parte do modelo é ativada a cada entrada. Shazeer et al. (2017) apresentaram a camada MoE com gating esparso, e Fedus et al. (2021) simplificaram o roteamento no Switch Transformer para escalar até modelos com trilhões de parâmetros, com um custo computacional por token praticamente constante.
O MoE permite que um modelo tenha uma capacidade total enorme, mantendo o custo de inferência mais próximo do de um modelo denso muito menor.