Ioffe & Szegedy(2015)가 제안한 배치 정규화는 현재 미니배치의 통계량을 이용해 각 층의 입력을 표준화합니다. 이를 통해 학습 중 내부 분포가 변하는 현상이 줄어들어, 더 높은 학습률을 사용하고 훨씬 깊은 신경망도 안정적으로 학습할 수 있게 되었습니다.
레이어 정규화 같은 관련 정규화 기법은 Transformer 내부의 표준 구성 요소입니다.
학습기초
2026년 업데이트
배치 정규화(Batch Normalization)
정의
각 층의 입력을 정규화해 더 깊은 신경망도 더 빠르고 안정적으로 학습할 수 있게 하는 학습 기법입니다.
참고문헌
이 정의의 근거가 된 1차 자료, 동료 심사 자료 및 기록 자료입니다.
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
사전 및 백과사전 항목
- Wikipedia — Batch normalization
- Google for Developers — Normalization
이 항목 인용하기
MultipleChat. “배치 정규화(Batch Normalization).” MultipleChat AI·LLM 용어집, 2026. https://multiple.chat/ai-glossary/batch-normalization