Apprentissage en contexte (in-context learning)

L’apprentissage en contexte est le comportement émergent observé par Brown et al. (2020) avec GPT-3 : face à quelques exemples dans le prompt, le modèle exécute la tâche sans mise à jour du gradient. L’étude de Dong et al. (2022) recense son fonctionnement et ce qui le rend fiable.

C’est ce qui rend efficaces le prompting, les exemples few-shot et la chaîne de pensée — et ce qui explique qu’un seul modèle figé puisse accomplir autant de tâches différentes.