Srivastava et al. (2014) führten Dropout ein: In jedem Trainingsschritt wird ein zufälliger Anteil der Einheiten vorübergehend entfernt, sodass sich das Netz nicht auf ein einzelnes Neuron verlassen kann. Das wirkt wie das Training eines großen Ensembles ausgedünnter Netze und verringert Overfitting deutlich.
Dropout wurde zu einem Standardbestandteil tiefer Netze und wird in verschiedenen Formen bis heute in modernen Architekturen eingesetzt.