يشير GPT إلى وصفة التدريب المسبق التوليدي التي قدّمها Radford وزملاؤه (2018): تدريب مسبق لنموذج Transformer مكوّن من مفكّك ترميز فقط على نص غير مُصنَّف، ثم ضبطه ضبطًا دقيقًا. وقد وسّع Brown وزملاؤه (2020) هذه الوصفة إلى GPT-3 (175 مليار معامل) وأظهروا قدرة قوية على التعلّم بأمثلة قليلة وضمن السياق، فأرسوا القالب الذي تتّبعه معظم النماذج اللغوية الكبيرة الحديثة.
ChatGPT من OpenAI هو أشهر منتج بُني على هذا الخط، لكن «GPT» بات اليوم يُطلق على نطاق واسع على نهج مفكّك الترميز وحده والتنبؤ بالرمز التالي.