Kingma & Ba (2015) apresentaram o Adam, que mantém estimativas contínuas do primeiro e do segundo momento dos gradientes de cada parâmetro e as usa para ajustar o tamanho do passo de cada parâmetro. Ele combina as vantagens de métodos anteriores (momentum e taxas de aprendizado adaptativas) e funciona bem com pouco ajuste.
O Adam e suas variantes são os otimizadores padrão para treinar grandes modelos de linguagem e a maioria das redes neurais modernas.