GPT désigne la recette de pré-entraînement génératif introduite par Radford et al. (2018) : pré-entraîner un Transformer à décodeur seul sur du texte non annoté, puis l’affiner. Brown et al. (2020) l’ont portée à l’échelle avec GPT-3 (175 milliards de paramètres) et ont démontré de solides capacités d’apprentissage few-shot en contexte, établissant le modèle que suivent la plupart des LLM modernes.
ChatGPT d’OpenAI est le produit le plus connu issu de cette lignée, mais « GPT » désigne aujourd’hui plus largement l’approche à décodeur seul fondée sur la prédiction du token suivant.