Beim Fine-Tuning werden die Gewichte eines Modells, das Sprache bereits versteht, anhand eines kleineren, gezielten Datensatzes nachjustiert. Howard & Ruder (2018) etablierten mit ULMFiT das moderne Transfer-Learning-Rezept für NLP, und Devlin et al. (2019) machten mit BERT „erst vortrainieren, dann feinabstimmen“ zum vorherrschenden Paradigma.
Im Vergleich zum Prompting kann Fine-Tuning ein Verhalten dauerhaft und bei der Inferenz kostengünstig verankern – um den Preis eines Trainingslaufs und eines Datensatzes, der gepflegt werden muss.