Srivastava et al. (2014) hanno introdotto il dropout: a ogni passo di addestramento una frazione casuale di unità viene rimossa temporaneamente, costringendo la rete a non dipendere da un singolo neurone. È come addestrare un grande ensemble di reti "sfoltite" e riduce nettamente l'overfitting.
Il dropout è diventato un ingrediente standard delle reti profonde ed è ancora usato, in varie forme, nelle architetture moderne.