Hochreiter y Schmidhuber (1997) presentaron la LSTM para resolver el problema del desvanecimiento del gradiente, que impedía a las redes recurrentes convencionales aprender dependencias de largo alcance. Su celda de memoria con compuertas permite que la información persista o se olvide de forma controlada a lo largo de muchos pasos temporales.
Las LSTM dominaron el reconocimiento de voz, la traducción y el modelado de texto durante casi dos décadas, hasta que la autoatención y el Transformer las sustituyeron en gran medida.