GPT designa a receita de pré-treinamento generativo apresentada por Radford et al. (2018): pré-treinar um Transformer apenas decodificador com texto não rotulado e depois fazer o ajuste fino. Brown et al. (2020) escalaram essa abordagem até o GPT-3 (175B de parâmetros) e demonstraram um forte aprendizado few-shot e em contexto, estabelecendo o modelo que a maioria dos LLMs modernos segue.
O ChatGPT da OpenAI é o produto mais conhecido dessa linhagem, mas “GPT” hoje designa, de modo geral, a abordagem apenas decodificadora de previsão do próximo token.