LoRA, présentée par Hu et al. (2021), fige les poids pré-entraînés et injecte dans chaque couche de petites matrices de rang faible entraînables. Seules ces minuscules matrices sont mises à jour, ce qui réduit de plusieurs ordres de grandeur le nombre de paramètres entraînés et diminue considérablement le coût mémoire de l’affinage, pour une perte de qualité minime.
Comme les adaptateurs sont petits et interchangeables, LoRA permet de maintenir à moindre coût de nombreuses variantes d’un même modèle de base, propres à une tâche ou à un client.