Beim Instruction Tuning wird ein Basismodell mit einer großen Sammlung von Aufgaben feinabgestimmt, die als Anweisungen formuliert sind. Wei et al. (2022) zeigten mit FLAN, dass dies die Zero-Shot-Leistung bei unbekannten Aufgaben stark verbessert, und Ouyang et al. (2022) kombinierten Anweisungsdaten mit menschlichem Feedback zu InstructGPT – dem Rezept, das rohe Sprachmodelle zu hilfreichen Assistenten machte.
Dieser Schritt sorgt dafür, dass ein Modell gut darin ist, das zu tun, was man ihm sagt, statt lediglich Text fortzusetzen.