양자화(Quantization)

양자화는 고정밀(예: 16비트) 가중치를 더 작은 정수 표현으로 대체합니다. Dettmers 외(2022)는 LLM.int8()을 통해, 드물게 나타나는 큰 값의 특징을 세심하게 처리하면 8비트 행렬 곱셈으로 메모리를 절반만 쓰면서도 전체 정밀도의 정확도를 유지한 채 Transformer 추론을 실행할 수 있음을 보여 주었습니다.

양자화 덕분에 대형 모델을 더 작은 GPU나 일반 소비자용 하드웨어에서도 실행할 수 있으며, LoRA 같은 어댑터 기법과도 자연스럽게 함께 쓰입니다.