Mixture of Experts(MoE)モデルでは、ゲーティングネットワークが各トークンを少数の「エキスパート」サブネットワークに振り分けるため、入力ごとにモデルの一部だけが動作します。Shazeer ら(2017)はスパースゲート型の MoE 層を提案し、Fedus ら(2021)は Switch Transformer でルーティングを簡素化して、トークンあたりの計算量をほぼ一定に保ったまま1兆パラメータ規模のモデルへの拡張を実現しました。
MoE を使うと、モデル全体として膨大な容量を持ちながら、推論コストをはるかに小さな密モデルに近い水準に抑えられます。