A LoRA, apresentada por Hu et al. (2021), congela os pesos pré-treinados e injeta pequenas matrizes treináveis de baixo posto em cada camada. Apenas essas matrizes minúsculas são atualizadas, o que reduz o número de parâmetros treinados em várias ordens de grandeza e corta drasticamente o custo de memória do fine-tuning — com pouca perda de qualidade.
Como os adaptadores são pequenos e intercambiáveis, a LoRA torna barato manter muitas variantes de um mesmo modelo base, específicas para cada tarefa ou cliente.