Kingma & Ba(2015)가 제안한 Adam은 각 파라미터 기울기의 1차 모멘트와 2차 모멘트에 대한 이동 추정치를 함께 유지하고, 이를 이용해 파라미터별 스텝 크기를 조정합니다. 이전 기법들(모멘텀과 적응형 학습률)의 장점을 결합했으며, 튜닝을 거의 하지 않아도 잘 작동합니다.
Adam과 그 변형은 대규모 언어 모델과 대부분의 최신 신경망을 학습시킬 때 기본으로 쓰이는 옵티마이저입니다.
학습기초
2026년 업데이트
Adam(옵티마이저)
정의
각 파라미터의 학습률을 적응적으로 조정해 신경망 학습을 더 빠르고 안정적으로 만드는, 널리 쓰이는 최적화 알고리즘입니다.
참고문헌
이 정의의 근거가 된 1차 자료, 동료 심사 자료 및 기록 자료입니다.
Adam: A Method for Stochastic Optimization
사전 및 백과사전 항목
- Wikipedia — Stochastic gradient descent — Adam
- Google for Developers — Gradient descent & optimizers
이 항목 인용하기
MultipleChat. “Adam(옵티마이저).” MultipleChat AI·LLM 용어집, 2026. https://multiple.chat/ai-glossary/adam