Kingma & Ba (2015) hanno introdotto Adam, che mantiene stime aggiornate del primo e del secondo momento dei gradienti di ciascun parametro e le usa per scalare l’ampiezza del passo per parametro. Combina i vantaggi di metodi precedenti (momentum e learning rate adattivi) e funziona bene con poca messa a punto.
Adam e le sue varianti sono gli ottimizzatori predefiniti per l'addestramento dei modelli linguistici di grandi dimensioni e della maggior parte delle reti neurali moderne.