En un modelo de mezcla de expertos, una red de enrutamiento (gating) envía cada token a un pequeño subconjunto de subredes «expertas», de modo que solo se activa una parte del modelo por entrada. Shazeer et al. (2017) presentaron la capa MoE con activación dispersa, y Fedus et al. (2021) simplificaron el enrutamiento en el Switch Transformer para escalar a modelos de billones de parámetros con un cómputo por token aproximadamente constante.
MoE permite que un modelo tenga una capacidad total enorme manteniendo un coste de inferencia más cercano al de un modelo denso mucho más pequeño.