Your session has been flagged for unusual activity.
계속하려면 사람인지 확인해 주세요.
프롬프트를 보내기 전에 GPT-4, Claude, Gemini, Grok의 토큰 수를 확인하세요. 텍스트는 기기 밖으로 전송되지 않습니다 — 토크나이저가 로컬에서 실행됩니다.
토큰
0
문자
0
단어
0
토큰당 문자 수
—
예상 비용
텍스트를 입력하면 주요 모델별 대략적인 비용을 볼 수 있습니다.
거대 언어 모델은 문자나 단어를 그대로 읽지 않습니다 — 모델이 읽는 단위는 토큰입니다. 토큰은 모델이 하나의 단위로 처리하도록 학습된 텍스트 조각입니다. 영어의 경우 토큰 하나가 대략 4글자에 해당합니다. "the"처럼 짧은 단어는 토큰 1개지만, "tokenization"은 2~3개가 될 수 있습니다.
토큰이 중요한 실질적인 이유는 세 가지입니다. 첫째, 모든 모델은 한 번에 처리할 수 있는 최대 토큰 수, 즉 컨텍스트 윈도우가 정해져 있습니다. 둘째, API 제공업체는 입력과 출력을 구분해 토큰 단위로 요금을 부과합니다. 셋째, 응답 속도는 토큰 수에 좌우됩니다 — 토큰이 많을수록 연산량이 늘고 대기 시간도 길어집니다.
프롬프트를 보내기 전에 토큰 수를 알면 컨텍스트 윈도우 안에 머무를 수 있고, 비용을 예측할 수 있으며, 제 역할을 못하는 불필요한 텍스트를 덜어낼 수 있습니다.
이 토크나이저를 사용하는 OpenAI 채팅 모델의 경우, 이 도구는 tiktoken 라이브러리의 cl100k_base 인코딩을 사용합니다 — API가 서버 측에서 사용하는 토크나이저와 동일하며, 바이트 단위까지 정확하게 일치합니다.
Claude, Gemini, Grok은 완전히 공개되지 않은 자체 토크나이저를 사용합니다. 저희는 텍스트 통계를 바탕으로 이를 추정합니다. Claude는 영어를 GPT 대비 약 0.95배, Gemini는 약 0.90배 비율로 토큰화하며, Grok은 GPT와 거의 비슷한 수준입니다. 실제 토큰 수와 5~10% 이내로 일치할 것으로 예상되며, 컨텍스트 윈도우 계획이나 비용 산정에는 충분히 정확한 수준입니다.
아니요. 토크나이저는 전적으로 브라우저 안에서 실행됩니다 — 네트워크 호출도, 로그 기록도, 저장도 없습니다.
토크나이저는 길거나 낯선 단어를 여러 조각으로 나눕니다. "Unbelievable"은 단어 하나지만 보통 토큰 3개로 나뉩니다. 코드, 이모지, 비영어권 문자는 훨씬 더 잘게 쪼개집니다.
네. 시스템 메시지, 사용자 메시지, 이전 대화 기록 등 보내는 모든 텍스트는 토큰화되어 과금 대상이 됩니다.
네 — 보통 입력 토큰보다 더 비쌉니다. 이 카운터는 입력 쪽만 측정합니다. 전체 비용을 예측하려면 저희 비용 계산기 를 이용해 보세요.
MultipleChat에서는 같은 프롬프트를 모든 주요 모델에 동시에 실행할 수 있고, 토큰 수도 자동으로 기록됩니다.
MultipleChat 무료로 시작하기