In-Context-Learning ist das emergente Verhalten, das Brown et al. (2020) bei GPT-3 beobachteten: Zeigt man dem Modell einige Beispiele im Prompt, erledigt es die Aufgabe ohne Gradienten-Updates. Der Überblick von Dong et al. (2022) katalogisiert, wie es funktioniert und was es zuverlässig macht.
Darauf beruht die Wirksamkeit von Prompting, Few-Shot-Beispielen und Chain of Thought – und deshalb kann ein einziges eingefrorenes Modell so viele verschiedene Aufgaben erledigen.