In einem Mixture-of-Experts-Modell schickt ein Gating-Netz jedes Token an eine kleine Teilmenge von „Experten“-Teilnetzen, sodass pro Eingabe nur ein Teil des Modells aktiv wird. Shazeer et al. (2017) führten die Sparsely-Gated-MoE-Schicht ein, und Fedus et al. (2021) vereinfachten im Switch Transformer das Routing, um auf Modelle mit Billionen Parametern bei annähernd konstantem Rechenaufwand pro Token zu skalieren.
Mit MoE kann ein Modell eine enorme Gesamtkapazität besitzen, während die Inferenzkosten eher denen eines deutlich kleineren dichten Modells entsprechen.