Quando una rete viene addestrata su un nuovo compito, gli aggiornamenti del gradiente possono sovrascrivere i pesi che codificavano le conoscenze precedenti, cancellando abilità acquisite: è l'oblio catastrofico. Kirkpatrick et al. (2017) lo hanno affrontato con l'Elastic Weight Consolidation, che rallenta l'apprendimento sui pesi più importanti per i compiti passati e permette così a un modello di conservare le vecchie capacità mentre ne impara di nuove.
È un ostacolo centrale per l'apprendimento continuo e per il fine-tuning dei modelli senza degradarne le capacità generali.