Transformer 是由 Vaswani et al.（2017）提出的序列建模架构。它的核心思想是自注意力（self-attention）：序列中的每个位置都能直接关注其他所有位置，因此模型只需一步就能捕捉长距离关系，而不必像循环神经网络那样沿着链条逐步传递信息。
由于对序列的注意力计算高度可并行，Transformer 在现代硬件上的训练效率远高于它所取代的 RNN 和 LSTM。正是这种效率，让训练如今的大语言模型成为现实。
为什么重要
ChatGPT、Claude、Gemini 和 Grok 都基于 Transformer。理解注意力、层和上下文长度——这些都是 Transformer 的概念——是理解本术语表中几乎所有其他术语的基础。