Kingma et Ba (2015) ont introduit Adam, qui tient à jour des estimations glissantes des premier et second moments des gradients de chaque paramètre et s’en sert pour ajuster la taille du pas propre à chaque paramètre. Il combine les avantages de méthodes antérieures (le momentum et les taux d’apprentissage adaptatifs) et fonctionne bien avec peu de réglages.
Adam et ses variantes sont les optimiseurs par défaut pour l’entraînement des grands modèles de langage et de la plupart des réseaux de neurones modernes.