O ajuste fino pega um modelo que já entende linguagem e ajusta levemente seus pesos com um conjunto de dados menor e direcionado. Howard e Ruder (2018) estabeleceram a receita moderna de transferência de aprendizado para PLN com o ULMFiT, e Devlin et al. (2019) tornaram o “pré-treinar e depois ajustar” o paradigma dominante com o BERT.
Em comparação com o prompting, o ajuste fino pode incorporar um comportamento de forma permanente e barata na inferência — ao custo de uma rodada de treinamento e de um conjunto de dados para manter.