Hochreiter & Schmidhuber (1997) hanno introdotto la LSTM per risolvere il problema della scomparsa del gradiente, che impediva alle normali reti ricorrenti di apprendere dipendenze a lungo raggio. La sua cella di memoria con gate permette all'informazione di persistere o di essere dimenticata in modo controllato lungo molti passi temporali.
Le LSTM hanno dominato il riconoscimento vocale, la traduzione e la modellazione del testo per quasi due decenni, finché la self-attention e il Transformer non le hanno in gran parte sostituite.