GPT（Generative Pre-trained Transformer）

GPT とは、Radford ら（2018）が提唱した生成的事前学習の手法を指します。ラベルのないテキストでデコーダーのみの Transformer を事前学習し、その後ファインチューニングするというものです。Brown ら（2020）はこれを GPT-3（1,750億パラメーター）まで大規模化し、優れたフューショット学習・インコンテキスト学習の能力を示しました。これが現代の LLM の多くが従うひな型となっています。

この系譜から生まれた最も有名な製品は OpenAI の ChatGPT ですが、現在「GPT」は、デコーダーのみで次のトークンを予測するアプローチ全般を指す言葉として広く使われています。