GPT bezeichnet das von Radford et al. (2018) eingeführte Rezept des generativen Vortrainings: einen reinen Decoder-Transformer auf ungelabeltem Text vortrainieren und dann per Fine-Tuning anpassen. Brown et al. (2020) skalierten dies auf GPT-3 (175 Mrd. Parameter) und zeigten starkes Few-Shot- und In-Context-Learning – damit war die Vorlage gesetzt, der die meisten modernen LLMs folgen.
ChatGPT von OpenAI ist das bekannteste Produkt dieser Entwicklungslinie, doch „GPT“ steht inzwischen allgemein für den Ansatz reiner Decoder mit Vorhersage des nächsten Tokens.