O aprendizado em contexto é o comportamento emergente que Brown et al. (2020) observaram no GPT-3: ao ver alguns exemplos no prompt, o modelo executa a tarefa sem atualizações de gradiente. O levantamento de Dong et al. (2022) cataloga como ele funciona e o que o torna confiável.
É isso que torna eficazes o prompting, os exemplos few-shot e a cadeia de pensamento — e explica por que um único modelo congelado consegue realizar tantas tarefas diferentes.