注意力机制最早由 Bahdanau 等人（2015）引入机器翻译，让解码器可以回头关注最相关的源语言词，而不是依赖单一的固定摘要向量。随后，Vaswani 等人（2017）将自注意力作为整个架构的基础，彻底去掉了循环结构。
每个 token 都会计算所有其他 token 的加权组合，权重表示各个 token 的相关程度。模型正是靠这种方式解析指代关系、把握长距离结构，并决定关注什么。
LLM 架构基础概念
2026 年更新
注意力机制（Attention Mechanism）
定义
一种让模型在生成输出的每个部分时，衡量输入各部分重要程度的技术——也是每个 Transformer 内部的核心运算。
参考文献
本定义所依据的一手文献、同行评审文献和存档资料。
Neural Machine Translation by Jointly Learning to Align and Translate
Attention Is All You Need
词典与百科条目
- Wikipedia — Attention (machine learning)
- IBM — Think / Topics — What is an attention mechanism?
引用本条目
MultipleChat.《注意力机制（Attention Mechanism）》. MultipleChat AI 与 LLM 术语表，2026. https://multiple.chat/ai-glossary/attention