Hochreiter et Schmidhuber (1997) ont introduit le LSTM pour résoudre le problème de disparition du gradient, qui empêchait les réseaux récurrents classiques d’apprendre des dépendances à long terme. Sa cellule mémoire à portes permet de conserver ou d’oublier une information de façon contrôlée sur de nombreux pas de temps.
Les LSTM ont dominé la reconnaissance vocale, la traduction et la modélisation de texte pendant près de vingt ans, jusqu’à ce que l’auto-attention et le Transformer les remplacent en grande partie.