Transformer

Transformer は、Vaswani et al.（2017）が提案した系列モデリングのアーキテクチャです。その中心となる自己注意（Self-Attention）により、系列内のすべての位置が他のすべての位置に直接注意を向けられます。そのため、再帰型ネットワークのように情報を連鎖的に受け渡すのではなく、1 ステップで長距離の関係を捉えられます。

系列に対する注意の計算は高度に並列化できるため、Transformer は、置き換えられた RNN や LSTM よりも現代のハードウェア上ではるかに効率的に学習できます。この効率性こそが、今日の大規模言語モデルの学習を現実的なものにしました。

なぜ重要なのか

ChatGPT、Claude、Gemini、Grok はいずれも Transformer をベースにしています。注意機構、レイヤー、コンテキスト長といった Transformer の概念を理解することが、この用語集に載っているほぼすべての用語を理解するための土台になります。