Your session has been flagged for unusual activity.
続行するには、人間であることをご確認ください。
プロンプトを送信する前に、GPT-4、Claude、Gemini、Grokのトークン数を計測できます。テキストは端末の外に送信されず、トークナイザーはローカルで動作します。
トークン数
0
文字数
0
単語数
0
文字/トークン
—
推定コスト
何か入力すると、主要モデルごとのおおよそのコストが表示されます。
大規模言語モデルは文字や単語をそのまま読み取っているわけではありません。読み取っているのは トークンです。トークンとは、モデルが1つの単位として扱うよう学習したテキストの塊のことです。英語の場合、1トークンは平均するとおよそ4文字に相当し、「the」のような短い単語は1トークン、「tokenization」のような単語は2〜3トークンになることもあります。
トークンが重要な理由は主に3つあります。第一に、モデルには一度に処理できるトークン数の上限があり、これを コンテキストウィンドウと呼びます。第二に、API提供元は入力と出力を別々に、トークン単位で課金します。第三に、応答速度はトークン数に左右され、トークンが多いほど計算量が増えて待ち時間も長くなります。
プロンプトを送信する前にトークン数を把握しておけば、ウィンドウの上限内に収め、コストを予測し、無駄な文章を削ることができます。
このトークナイザーを使用するOpenAIのチャットモデルの場合、本ツールは tiktoken を採用し、 cl100k_base エンコーディングを使用しています。これはAPIのサーバー側トークナイザーと同じ結果になり、カウントはバイト単位で正確です。
Claude、Gemini、Grokは非公開の独自トークナイザーを使用しているため、テキスト統計から推定しています。目安として、Claudeの英語トークン数はGPTのおよそ0.95倍、Geminiは0.90倍、GrokはGPTとほぼ同水準です。実際の値との誤差は5〜10%以内に収まることが多く、コンテキストウィンドウの計画やコスト試算には十分な精度です。
いいえ。トークナイザーはすべてブラウザ内で動作するため、通信も記録も保存も一切行われません。
トークナイザーは長い単語や珍しい単語を複数の断片に分割するためです。例えば「Unbelievable」は1単語ですが、通常は3トークンになります。コードや絵文字、英語以外の文字はさらに多くのトークンを消費します。
はい。システムメッセージ、ユーザーメッセージ、過去の会話履歴など、送信するすべてのデータがトークン化され、課金の対象になります。
はい。しかも出力トークンは通常、入力トークンより単価が高くなります。このカウンターは入力側のみを計測しています。総コストの見積もりには コスト計算ツール をご利用ください。
