LSTM (Long Short-Term Memory)

Hochreiter e Schmidhuber (1997) criaram a LSTM para resolver o problema do gradiente que desaparece (vanishing gradient), que impedia as redes recorrentes comuns de aprender dependências de longo alcance. Sua célula de memória com portas permite que a informação persista ou seja esquecida de forma controlada ao longo de muitos passos de tempo.

As LSTMs dominaram a modelagem de fala, tradução e texto por quase duas décadas, até serem amplamente substituídas pela autoatenção e pelo Transformer.