GPT(Generative Pre-trained Transformer)

GPT는 Radford 외(2018)가 제시한 생성적 사전 학습 방식을 가리킵니다. 레이블이 없는 텍스트로 디코더 전용 Transformer를 사전 학습한 뒤 파인튜닝하는 방식입니다. Brown 외(2020)는 이를 GPT-3(매개변수 175B, 즉 1,750억 개)로 확장해 뛰어난 퓨샷 인컨텍스트 학습 능력을 보여 주었고, 이는 대부분의 최신 LLM이 따르는 틀이 되었습니다.

이 계보를 바탕으로 만들어진 가장 유명한 제품은 OpenAI의 ChatGPT이지만, 오늘날 ‘GPT’는 디코더 전용·다음 토큰 예측 방식을 폭넓게 가리키는 말로 쓰입니다.