ファインチューニングは、すでに言語を理解しているモデルを、より小規模で目的を絞ったデータセットで学習させ、重みを微調整する手法です。Howard と Ruder(2018)は ULMFiT によって NLP における現代的な転移学習の手法を確立し、Devlin ら(2019)は BERT によって「事前学習してからファインチューニングする」方式を主流のパラダイムにしました。
プロンプトによる指示と比べると、ファインチューニングは特定の振る舞いをモデルに恒久的に組み込め、推論時のコストも抑えられます。その代わり、学習の実行と、維持管理すべきデータセットが必要になります。