Srivastava et al. (2014) ont introduit le dropout : à chaque étape d’entraînement, une fraction aléatoire des unités est temporairement retirée, ce qui oblige le réseau à ne dépendre d’aucun neurone en particulier. Cela revient à entraîner un vaste ensemble de réseaux allégés et réduit nettement le surapprentissage.
Le dropout est devenu un ingrédient standard des réseaux profonds et reste utilisé, sous diverses formes, dans les architectures modernes.