Ioffe & Szegedy (2015) führten die Batch-Normalisierung ein, die die Eingaben jeder Schicht anhand der Statistiken des aktuellen Mini-Batches standardisiert. Das verringert die Verschiebung interner Verteilungen während des Trainings, sodass sich höhere Lernraten verwenden und deutlich tiefere Netze zuverlässig trainieren lassen.
Verwandte Normalisierungsverfahren (etwa die Layer-Normalisierung) sind ein Standardbestandteil von Transformern.