LLM アーキテクチャ効率化 2026年更新

Mixture of Experts(MoE)

定義

入力ごとにモデル全体ではなく少数の専門サブネットワークへ振り分けるアーキテクチャ。大きな容量を保ちながら、クエリあたりのコストを抑えられます。

Mixture of Experts(MoE)モデルでは、ゲーティングネットワークが各トークンを少数の「エキスパート」サブネットワークに振り分けるため、入力ごとにモデルの一部だけが動作します。Shazeer ら(2017)はスパースゲート型の MoE 層を提案し、Fedus ら(2021)は Switch Transformer でルーティングを簡素化して、トークンあたりの計算量をほぼ一定に保ったまま1兆パラメータ規模のモデルへの拡張を実現しました。

MoE を使うと、モデル全体として膨大な容量を持ちながら、推論コストをはるかに小さな密モデルに近い水準に抑えられます。

参考文献

この定義の根拠となる一次資料、査読済み資料、アーカイブ資料です。

Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
Shazeer, N., Mirhoseini, A., Maziarz, K., Davis, A., Le, Q., Hinton, G., & Dean, J. (2017). International Conference on Learning Representations (ICLR 2017).
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
Fedus, W., Zoph, B., & Shazeer, N. (2022). Journal of Machine Learning Research, 23(120).

辞書・百科事典の項目

この項目を引用する

MultipleChat「Mixture of Experts(MoE)」MultipleChat AI・LLM 用語集、2026年。https://multiple.chat/ai-glossary/moe

関連用語

実際に試してみる

同じプロンプトを ChatGPT、Claude、Gemini、Grok、Perplexity で並べて実行できます。手持ちのファイルをコンテキストに使い、回答同士を照らし合わせて確認できます。

MultipleChat を無料で試す

さらに詳しく

有料プランを見る