قدّم Hochreiter وSchmidhuber (1997) شبكة LSTM لحلّ مشكلة تلاشي التدرّج التي كانت تمنع الشبكات المتكررة العادية من تعلّم الاعتماديات بعيدة المدى. وتتيح خلية الذاكرة المزوّدة بالبوابات الاحتفاظ بالمعلومات أو نسيانها بطريقة مضبوطة عبر خطوات زمنية كثيرة.
هيمنت شبكات LSTM على معالجة الكلام والترجمة ونمذجة النصوص قرابة عقدين من الزمن، إلى أن حلّ محلها إلى حد كبير الانتباه الذاتي والمحوّل (Transformer).