Le fine-tuning part d’un modèle qui comprend déjà le langage et ajuste légèrement ses poids sur un jeu de données plus petit et ciblé. Howard et Ruder (2018) ont établi la recette moderne de l’apprentissage par transfert en TAL avec ULMFiT, et Devlin et al. (2019) ont fait du schéma « pré-entraînement puis fine-tuning » le paradigme dominant avec BERT.
Par rapport au prompting, le fine-tuning permet d’ancrer durablement un comportement, à moindre coût lors de l’inférence — au prix d’un entraînement et d’un jeu de données à maintenir.