Ioffe e Szegedy (2015) introduziram a normalização em lote, que padroniza as entradas de cada camada usando as estatísticas do minilote atual. Isso reduz o deslocamento das distribuições internas durante o treinamento, permitindo usar taxas de aprendizado mais altas e treinar redes muito mais profundas com confiabilidade.
Esquemas de normalização relacionados (como a normalização de camada) são um componente padrão dos Transformers.