LoRA, introdotto da Hu et al. (2021), congela i pesi pre-addestrati e inserisce in ogni strato piccole matrici addestrabili a basso rango. Vengono aggiornate solo queste minuscole matrici, il che riduce di ordini di grandezza il numero di parametri addestrati e abbatte drasticamente il costo in memoria del fine-tuning, con una perdita di qualità minima.
Poiché gli adattatori sono piccoli e intercambiabili, con LoRA mantenere molte varianti di un unico modello di base, specifiche per compito o per cliente, costa poco.