Beim Few-Shot-Prompting werden mehrere Eingabe-Ausgabe-Beispiele in den Kontext gestellt, sodass das Modell die Aufgabe im Kontext lernt – ganz ohne Anpassung der Gewichte. Brown et al. (2020) zeigten, dass diese Fähigkeit mit zunehmender Größe entsteht und dass einige wenige Beispiele bei gängigen Aufgaben oft einen Großteil des Abstands zu per Fine-Tuning angepassten Systemen schließen.
Beispiele sind am nützlichsten, wenn das gewünschte Format spezifisch oder ungewöhnlich ist – genau dann, wenn Zero-Shot gern ins Wanken gerät.