Wird ein Netz auf eine neue Aufgabe trainiert, können Gradienten-Updates die Gewichte überschreiben, in denen früheres Wissen kodiert war, und so bereits erlernte Fähigkeiten löschen – das katastrophale Vergessen. Kirkpatrick et al. (2017) begegneten dem mit Elastic Weight Consolidation: Das Verfahren verlangsamt das Lernen bei den Gewichten, die für frühere Aufgaben am wichtigsten sind, sodass ein Modell alte Fähigkeiten behält und zugleich neue erlernt.
Es ist ein zentrales Hindernis für kontinuierliches Lernen und für Fine-Tuning, ohne die allgemeinen Fähigkeiten eines Modells zu beeinträchtigen.