Hu 외(2021)가 제안한 LoRA는 사전 학습된 가중치를 고정하고 각 레이어에 학습 가능한 작은 저랭크 행렬을 주입합니다. 이 작은 행렬만 업데이트하므로 학습 파라미터 수가 몇 자릿수나 줄어들고 파인튜닝의 메모리 비용도 크게 감소하며, 품질 손실은 거의 없습니다.
어댑터가 작고 교체가 쉽기 때문에, LoRA를 사용하면 하나의 기본 모델로 작업별 또는 고객별 변형 모델을 여러 개 저렴하게 유지할 수 있습니다.
학습효율성
2026년 업데이트
LoRA(저랭크 적응, Low-Rank Adaptation)
정의
원래 가중치는 고정한 채 작은 행렬을 추가로 학습시켜 대형 모델을 적응시키는, 파라미터 효율적인 파인튜닝 방법입니다.
참고문헌
이 정의의 근거가 된 1차 자료, 동료 심사 자료 및 기록 자료입니다.
LoRA: Low-Rank Adaptation of Large Language Models
사전 및 백과사전 항목
- 위키백과 — 파인튜닝(딥러닝) — LoRA
- IBM — Think / Topics — LoRA(저랭크 적응)란 무엇인가요?
이 항목 인용하기
MultipleChat. "LoRA(Low-Rank Adaptation)." MultipleChat AI 및 LLM 용어집, 2026. https://multiple.chat/ai-glossary/lora