Cuando una red se entrena en una tarea nueva, las actualizaciones de gradiente pueden sobrescribir los pesos que codificaban conocimientos anteriores y borrar habilidades previas: es el olvido catastrófico. Kirkpatrick et al. (2017) lo abordaron con la consolidación elástica de pesos (Elastic Weight Consolidation), que ralentiza el aprendizaje en los pesos más importantes para las tareas pasadas y permite que un modelo conserve sus capacidades antiguas mientras aprende otras nuevas.
Es un obstáculo central para el aprendizaje continuo y para el ajuste fino de modelos sin degradar sus capacidades generales.