Quando uma rede é treinada em uma nova tarefa, as atualizações de gradiente podem sobrescrever os pesos que codificavam conhecimentos anteriores, apagando habilidades prévias — o esquecimento catastrófico. Kirkpatrick et al. (2017) enfrentaram o problema com a Elastic Weight Consolidation, que desacelera o aprendizado nos pesos mais importantes para tarefas anteriores, permitindo que o modelo mantenha habilidades antigas enquanto aprende novas.
É um obstáculo central para o aprendizado contínuo e para o ajuste fino de modelos sem degradar suas capacidades gerais.