Kingma 和 Ba（2015）提出了 Adam，它对每个参数梯度的一阶矩和二阶矩分别维护滑动估计，并据此缩放每个参数的步长。它结合了早期方法（动量和自适应学习率）的优点，几乎无需调参就能取得良好效果。
Adam 及其变体是训练大语言模型和大多数现代神经网络的默认优化器。
训练基础概念
2026 年更新
Adam（优化器）
定义
一种广泛使用的优化算法，能为每个参数自适应地调整学习率，使神经网络训练更快、更稳定。
参考文献
本定义所依据的一手文献、同行评审文献和存档资料。
Adam: A Method for Stochastic Optimization
词典与百科条目
- Wikipedia — Stochastic gradient descent — Adam
- Google for Developers — Gradient descent & optimizers
引用本条目
MultipleChat.《Adam（优化器）》. MultipleChat AI 与 LLM 术语表，2026. https://multiple.chat/ai-glossary/adam