Srivastava et al. (2014) introdujeron el dropout: en cada paso del entrenamiento se elimina temporalmente una fracción aleatoria de unidades, lo que obliga a la red a no depender de ninguna neurona concreta. Equivale a entrenar un gran conjunto de redes reducidas y disminuye notablemente el sobreajuste.
El dropout se convirtió en un ingrediente estándar de las redes profundas y sigue utilizándose, en diversas formas, en las arquitecturas modernas.