토큰(Token)

텍스트는 모델에 전달되기 전에 토크나이저를 통해 토큰으로 분할됩니다. 최신 시스템은 바이트 페어 인코딩(Sennrich et al., 2016)이나 SentencePiece(Kudo & Richardson, 2018) 같은 서브워드 방식을 사용하는데, 자주 쓰이는 단어는 그대로 두고 드문 단어는 더 작은 조각으로 나누어 어휘 크기와 시퀀스 길이 사이의 균형을 맞춥니다.

토큰 하나는 평균적으로 영어 단어의 약 4분의 3에 해당하지만, 이는 언어와 문자 체계에 따라 달라집니다. 그래서 컨텍스트 한도와 API 가격은 단어나 글자 수가 아니라 토큰 단위로 표시됩니다.