Kingma & Ba (2015) stellten Adam vor. Das Verfahren führt laufende Schätzungen des ersten und zweiten Moments der Gradienten jedes Parameters mit und nutzt sie, um die Schrittweiten pro Parameter zu skalieren. Es vereint die Vorteile früherer Methoden (Momentum und adaptive Lernraten) und funktioniert schon mit wenig Feinabstimmung gut.
Adam und seine Varianten sind die Standard-Optimierer für das Training großer Sprachmodelle und der meisten modernen neuronalen Netze.