LoRA, presentado por Hu et al. (2021), congela los pesos preentrenados e inyecta en cada capa pequeñas matrices entrenables de bajo rango. Solo se actualizan esas diminutas matrices, lo que reduce en varios órdenes de magnitud el número de parámetros entrenados y abarata drásticamente la memoria necesaria para el ajuste fino, con muy poca pérdida de calidad.
Como los adaptadores son pequeños e intercambiables, LoRA hace que mantener muchas variantes de un mismo modelo base, específicas para cada tarea o cliente, resulte barato.