Ioffe & Szegedy (2015) hanno introdotto la batch normalization, che standardizza gli input di ogni livello usando le statistiche del mini-batch corrente. Questo riduce lo spostamento delle distribuzioni interne durante l'addestramento, consentendo di usare learning rate più alti e di addestrare in modo affidabile reti molto più profonde.
Schemi di normalizzazione affini (come la layer normalization) sono un componente standard all'interno dei Transformer.