Dans un modèle Mixture of Experts (mélange d’experts), un réseau de routage envoie chaque token vers un petit sous-ensemble de sous-réseaux « experts », de sorte que seule une partie du modèle s’active pour chaque entrée. Shazeer et al. (2017) ont introduit la couche MoE à routage parcimonieux, et Fedus et al. (2021) ont simplifié le routage dans le Switch Transformer afin de passer à l’échelle de modèles à mille milliards de paramètres avec une puissance de calcul par token à peu près constante.
Le MoE permet à un modèle de disposer d’une capacité totale énorme tout en maintenant un coût d’inférence proche de celui d’un modèle dense bien plus petit.