L'instruction tuning applica il fine-tuning a un modello di base su un'ampia raccolta di compiti espressi come istruzioni. Wei et al. (2022) hanno dimostrato con FLAN che questo migliora nettamente le prestazioni zero-shot su compiti mai visti, e Ouyang et al. (2022) hanno combinato dati di istruzioni e feedback umano per costruire InstructGPT: la ricetta che ha trasformato i modelli linguistici grezzi in assistenti utili.
È il passaggio che rende un modello bravo a fare ciò che gli viene chiesto, invece di limitarsi a continuare il testo.