LSTM (Long Short-Term Memory)

Hochreiter & Schmidhuber (1997) führten das LSTM ein, um das Problem verschwindender Gradienten zu lösen, das gewöhnliche rekurrente Netze daran hinderte, weitreichende Abhängigkeiten zu lernen. Seine Speicherzelle mit Gates lässt Informationen über viele Zeitschritte hinweg kontrolliert erhalten bleiben oder vergessen werden.

LSTMs dominierten fast zwei Jahrzehnte lang die Sprach-, Übersetzungs- und Textmodellierung, bis Self-Attention und der Transformer sie weitgehend ablösten.