Srivastava et al. (2014) introduziram o dropout: a cada etapa de treinamento, uma fração aleatória das unidades é removida temporariamente, forçando a rede a não depender de nenhum neurônio isolado. Isso equivale a treinar um grande ensemble de redes “afinadas” e reduz bastante o overfitting.
O dropout se tornou um ingrediente padrão das redes profundas e ainda é usado, em diversas formas, em arquiteturas modernas.