LoRA, vorgestellt von Hu et al. (2021), friert die vortrainierten Gewichte ein und fügt in jede Schicht kleine trainierbare Low-Rank-Matrizen ein. Nur diese winzigen Matrizen werden aktualisiert. Das senkt die Zahl der trainierten Parameter um Größenordnungen und den Speicherbedarf des Fine-Tunings drastisch – bei nur geringen Qualitätseinbußen.
Da die Adapter klein und austauschbar sind, lassen sich mit LoRA kostengünstig viele aufgaben- oder kundenspezifische Varianten eines Basismodells pflegen.