El aprendizaje en contexto es el comportamiento emergente que Brown et al. (2020) observaron en GPT-3: al mostrarle unos pocos ejemplos en el prompt, el modelo realiza la tarea sin actualizaciones de gradiente. El estudio de Dong et al. (2022) cataloga cómo funciona y qué lo hace fiable.
Es lo que hace eficaces el prompting, los ejemplos few-shot y la cadena de pensamiento, y la razón por la que un único modelo congelado puede realizar tantos trabajos distintos.