Ioffe y Szegedy (2015) introdujeron la normalización por lotes, que estandariza las entradas de cada capa con las estadísticas del minilote actual. Esto reduce el desplazamiento de las distribuciones internas durante el entrenamiento y permite usar tasas de aprendizaje más altas y entrenar de forma fiable redes mucho más profundas.
Los esquemas de normalización relacionados (como la normalización por capas) son un componente estándar dentro de los Transformers.