CodeKitHubこのツールとは？
言語モデルは、テキストを文字単位や単語単位で処理するわけではありません。テキストを「トークン」と呼ばれる単位に分割します。トークンは通常、数文字の長さです（英語の場合、1トークンあたり約4文字、あるいは0.75語ですが、これは言語やコンテンツによって大きく異なります）。 トークンの数は、APIのコストや、プロンプトがモデルのコンテキストウィンドウに収まるかどうかを直接決定します。
このツールでは、実際のトークナイザーのエンコーディング（GPT-4oおよびGPT-4o miniで使用される「o200k_base」と、GPT-4およびGPT-3.5で使用される「cl100k_base」） — を使用しており、「文字数を4で割った」という大まかな近似値ではなく、ここで表示されるカウント数は、実際に請求される数や制限される数と一致します。
なぜこれを使うのか？
- 実際のトークナイザーのエンコーディング（o200k_base、cl100k_base）— 文字数に基づく推測ではありません。
- モデルを瞬時に切り替えて、同じテキストが各モデルでどのようにトークン化されるかを比較できます。
- 文字数と単語数が併記されており、一目で確認できます。
- 入力や貼り付けを行うと、その場で更新されます。ボタンをクリックする必要はありません。
- 100% ローカル処理 — 入力内容や文書は一切アップロードされません。機密情報や重要な情報が含まれている場合、これは重要なポイントです。
使い方
- ボックスにテキスト、プロンプト、またはコードを貼り付けるか、入力してください。
- 対象とするモデル（GPT-4o / GPT-4o mini、または GPT-4 / GPT-3.5）を選択してください。
- トークンの数は即座に更新されます。モデルを切り替えて比較してみてください。
- 併記されている文字数・単語数は、確認用として、あるいはトークンベースではない制限の目安としてご利用ください。
例
入力
"Hello, world!" (GPT-4o encoding)出力
4 tokens, 13 characters, 2 words一般的な短いフレーズは、通常、単語や句読点ごとに1トークンとしてトークン化されますが、これは大文字小文字、スペースの有無、および言語によって異なります。
どのトークナイザーを確認すべきでしょうか？
この2つのエンコーディングは互換性がありません。実際に呼び出しているモデルに合わせて適切なものを選択してください。同じテキストであっても、エンコーディングによってトークン数が著しく異なる場合があるためです。
| モデルファミリー | トークナイザー | 使用タイミング |
|---|---|---|
| GPT-4o、GPT-4o mini、GPT-4.1、o1/o3推論モデル | o200k_base | 現在リリースされているOpenAIのモデルすべて――これは、GPT-4o以降、OpenAIがすべての新しいモデル向けに提供しているトークナイザーです。 |
| GPT-4、GPT-4-turbo、GPT-3.5-turbo、text-embedding-ada-002 | cl100k_base | 古い、あるいはレガシーなOpenAIモデル、あるいはコストの都合でAPI呼び出しの対象が依然としてGPT-3.5/GPT-4（GPT-4oではない）である場合。 |
| Claude、Gemini、Llama、その他のOpenAI以外のモデル | どちらでもない — ここでは扱っていない | これらのプロバイダーは独自のトークナイザー（tiktokenベースではないもの）を使用しているため、ここでのカウント数はそれらの課金内容と一致しません。 |
実用的なヒント
- リクエストを送信する前にAPIのコストを見積もるには、文字数から推測するのではなく、トークン数にモデルのトークン単価を掛けることで、簡単にコストを見積もることができます。
- 長いドキュメントがモデルのコンテキストウィンドウに収まるかどうかを確認するには、まずその全文をここに貼り付けてみてください。実際のAPI呼び出しを試し、途中で失敗するのを繰り返すよりも、はるかに速く確認できます。
- プロンプト・エンジニアリングのバリエーションを比較する：コスト削減のためにシステムのプロンプトを短縮しようとしている場合は、各バージョンをここに貼り付けて、「見た目が短い」というだけでなく、トークンの削減量を直接確認してください。
- 英語以外のテキスト：中国語、日本語、韓国語、およびその他の非ラテン文字のトークン数は、1文字あたりの数が英語よりもはるかに多いことがよくあります。4文字1トークンというルールが適用されると仮定するのではなく、これを明確に確認してください。
よくある質問
なぜ同じテキストでも、モデルによってトークン数が異なるのでしょうか？
GPT-4o および GPT-4o mini は、GPT-4 や GPT-3.5 （cl100k_base）——これら2つのエンコーディングは、テキストを異なる語彙単位に分割するため、まったく同じ入力であっても、対象とするモデルによってトークン数が異なる場合があります。
1トークンは本当に4文字分くらいなのでしょうか？
これは英語の散文における大まかな平均値ですが、実際には大きなばらつきがあります。一般的な英語の単語は1文字につき1トークンとなることが多い一方、希少な単語やコード、特に非ラテン文字（中国語、日本語、韓国語、アラビア語）は、1文字あたり著しく多くのトークンを消費する場合があります。 コストや制限に関わる事項については、4文字という経験則に頼るのではなく、常に正確な文字数を確認するようにしてください。
このツールは、トークン数をカウントするためにOpenAI APIを呼び出していますか？
いいえ。これは、同じトークナイザーのエンコーディング（o200k_base、cl100k_base）をJavaScriptで実装したもので、すべてブラウザ内で実行されます。APIキーは不要で、ネットワークリクエストも行われず、入力したテキストが外部に送信されることも一切ありません。
トークンの数がなぜ重要なのでしょうか？
理由は2つあります。APIの課金はトークン単位（入力および出力）で行われること、そして各モデルにはトークン数で測定される最大コンテキストウィンドウが設定されていることです。プロンプトと予想される応答の合計が、その制限を超えると、リクエストは失敗するか、切り捨てられてしまいます。事前にトークン数を確認しておけば、こうした予期せぬ事態を両方とも回避できます。
これは、ClaudeやGemini、あるいはその他のOpenAI以外のモデルでも機能しますか？
表示されているカウント数は、OpenAIのトークナイザー（o200k_base および cl100k_base）に限定されたものです。他のプロバイダーは独自のトークナイザーを使用しており、同じテキストであってもカウント数が大きく異なる場合があります。本ツールでは、それらについては対応していません。