GPT indica la ricetta di pre-addestramento generativo introdotta da Radford et al. (2018): pre-addestrare un Transformer di solo decoder su testo non etichettato, poi effettuare il fine-tuning. Brown et al. (2020) l'hanno portata alla scala di GPT-3 (175 miliardi di parametri) e hanno mostrato un forte apprendimento few-shot in-context, fissando il modello che la maggior parte degli LLM moderni segue.
ChatGPT di OpenAI è il prodotto più noto nato da questa linea, ma oggi "GPT" indica in senso ampio l'approccio di solo decoder basato sulla previsione del token successivo.