In un modello Mixture-of-Experts, una rete di gating invia ogni token a un piccolo sottoinsieme di sottoreti «esperte», così per ogni input si attiva solo una parte del modello. Shazeer et al. (2017) hanno introdotto lo strato MoE a gating sparso, e Fedus et al. (2021) hanno semplificato l'instradamento nello Switch Transformer per arrivare a modelli da mille miliardi di parametri con un calcolo per token pressoché costante.
Il MoE consente a un modello di avere una capacità totale enorme mantenendo un costo di inferenza più vicino a quello di un modello denso molto più piccolo.