L’instruction tuning affine un modèle de base sur une vaste collection de tâches exprimées sous forme d’instructions. Wei et al. (2022) ont montré avec FLAN que cela améliore nettement les performances zero-shot sur des tâches inédites, et Ouyang et al. (2022) ont combiné des données d’instructions et du feedback humain pour créer InstructGPT — la recette qui a transformé des modèles de langage bruts en assistants utiles.
C’est l’étape qui rend un modèle doué pour faire ce qu’on lui demande, au lieu de simplement prolonger un texte.