Lorsqu’un réseau est entraîné sur une nouvelle tâche, les mises à jour du gradient peuvent écraser les poids qui encodaient les connaissances antérieures et effacer les compétences acquises : c’est l’oubli catastrophique. Kirkpatrick et al. (2017) y ont répondu avec l’Elastic Weight Consolidation, qui ralentit l’apprentissage sur les poids les plus importants pour les tâches passées, permettant à un modèle de conserver ses anciennes capacités tout en en acquérant de nouvelles.
C’est un obstacle central à l’apprentissage continu et au fine-tuning des modèles sans dégrader leurs capacités générales.