L'in-context learning (apprendimento nel contesto) è il comportamento emergente che Brown et al. (2020) hanno osservato in GPT-3: mostrandogli alcuni esempi nel prompt, il modello svolge il compito senza aggiornamenti del gradiente. La rassegna di Dong et al. (2022) cataloga come funziona e cosa lo rende affidabile.
È ciò che rende efficaci il prompting, gli esempi few-shot e il chain-of-thought, e il motivo per cui un singolo modello congelato può svolgere così tanti lavori diversi.