Adam（オプティマイザー）

Kingma と Ba（2015）が提案した Adam は、各パラメータの勾配について1次モーメントと2次モーメントの移動推定値を保持し、それを使ってパラメータごとのステップサイズを調整します。それ以前の手法（モメンタムと適応的学習率）の利点を組み合わせており、ほとんどチューニングしなくても良好に機能します。

Adam とその派生手法は、大規模言語モデルや現代のほとんどのニューラルネットワークの学習で標準的に使われるオプティマイザーです。