Ioffe 和 Szegedy（2015）提出了批量归一化：利用当前小批量（mini-batch）的统计量，对每一层的输入进行标准化。这能减少训练过程中内部分布的偏移，让从业者可以使用更高的学习率，并稳定地训练更深的网络。
相关的归一化方法（例如层归一化）是 Transformer 中的标准组件。
训练基础概念
2026 年更新
批量归一化（Batch Normalization）
定义
一种对每一层输入进行归一化的训练技术，可让更深的网络训练得更快、更稳定。
参考文献
本定义所依据的一手文献、同行评审文献和存档资料。
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
词典与百科条目
- Wikipedia — Batch normalization
- Google for Developers — Normalization
引用本条目
MultipleChat.《批量归一化（Batch Normalization）》. MultipleChat AI 与 LLM 术语表，2026. https://multiple.chat/ai-glossary/batch-normalization