Ioffe et Szegedy (2015) ont introduit la normalisation par lots (batch normalization), qui standardise les entrées de chaque couche à l’aide des statistiques du mini-lot en cours. Cela réduit la dérive des distributions internes pendant l’entraînement, ce qui permet d’utiliser des taux d’apprentissage plus élevés et d’entraîner de manière fiable des réseaux bien plus profonds.
Des schémas de normalisation apparentés (comme la normalisation par couche) sont un composant standard des Transformers.