CodeKitHubWas ist dieses Tool?
Sprachmodelle verarbeiten Text nicht Zeichen für Zeichen oder Wort für Wort – sie unterteilen ihn in „Token“, also Einheiten, die oft nur wenige Zeichen lang sind (im Englischen etwa 4 Zeichen oder 0,75 Wörter pro Token, wobei dies je nach Sprache und Inhalt stark variiert). Die Anzahl der Token bestimmt direkt Ihre API-Kosten und ob Ihre Eingabe in das Kontextfenster eines Modells passt.
Dieses Tool verwendet die tatsächlichen Tokenizer-Kodierungen – o200k_base (verwendet von GPT-4o und GPT-4o mini) und cl100k_base (verwendet von GPT-4 und GPT-3.5) – anstelle einer groben Annäherung nach dem Prinzip „Zeichen geteilt durch 4“, sodass die hier angezeigte Anzahl mit dem Wert übereinstimmt, der Ihnen tatsächlich in Rechnung gestellt wird oder als Obergrenze gilt.
Warum sollte man es nutzen?
- Echte Tokenizer-Kodierungen (o200k_base, cl100k_base) – keine Schätzung anhand der Zeichenanzahl.
- Wechseln Sie sofort zwischen den Modellen, um zu vergleichen, wie derselbe Text bei den verschiedenen Modellen unterschiedlich tokenisiert wird.
- Zur schnellen Orientierung werden die Zeichen- und Wortanzahl nebenstehend angezeigt.
- Die Aktualisierung erfolgt in Echtzeit, während Sie tippen oder einfügen – Sie müssen keine Schaltfläche anklicken.
- 100 % lokal – Ihre Eingabe oder Ihr Dokument wird niemals hochgeladen, was besonders dann wichtig ist, wenn es vertrauliche oder sensible Inhalte enthält.
Anleitung
- Fügen Sie Ihren Text, Ihre Eingabeaufforderung oder Ihren Code in das Feld ein oder geben Sie ihn ein.
- Wählen Sie das Modell aus, das Sie verwenden möchten (GPT-4o / GPT-4o mini oder GPT-4 / GPT-3.5).
- Die Anzahl der Token wird sofort aktualisiert – wechseln Sie zwischen den Modellen, um sie zu vergleichen.
- Verwenden Sie die nebenstehenden Zeichen- bzw. Wortzahlen als Kontrollwert oder für Beschränkungen, die nicht auf Token basieren.
Beispiel
Eingabe
"Hello, world!" (GPT-4o encoding)Ausgabe
4 tokens, 13 characters, 2 wordsHäufig verwendete kurze Ausdrücke werden oft mit einem Token pro Wort oder Satzzeichen tokenisiert, dies hängt jedoch von der Großschreibung, den Leerzeichen und der Sprache ab.
Welchen Tokenizer sollten Sie sich ansehen?
Die beiden Kodierungen sind nicht austauschbar – wählen Sie diejenige aus, die zu dem Modell passt, das Sie tatsächlich aufrufen, da derselbe Text bei jeder Kodierung zu einer deutlich unterschiedlichen Anzahl von Tokens führen kann.
| Modellfamilie | Tokenizer | Wann sollte man es verwenden? |
|---|---|---|
| GPT-4o, GPT-4o mini, GPT-4.1, o1/o3-Modelle für logisches Denken | o200k_base | Jede aktuelle Modellversion von OpenAI – dies ist der Tokenizer, den OpenAI seit GPT-4o für alle neueren Modelle bereitstellt. |
| GPT-4, GPT-4-Turbo, GPT-3.5-Turbo, text-embedding-ada-002 | cl100k_base | Ältere oder veraltete OpenAI-Modelle oder wenn Ihre API-Aufrufe aus Kostengründen weiterhin auf GPT-3.5/GPT-4 (nicht GPT-4o) abzielen. |
| Claude, Gemini, Llama und andere Modelle, die nicht von OpenAI stammen | Weder noch – wird hier nicht behandelt | Diese Anbieter verwenden ihre eigenen Tokenizer (die nicht auf tiktoken basieren); die hier angezeigten Zahlen stimmen daher nicht mit ihren Abrechnungsdaten überein. |
Praktische Tipps
- Schätzung der API-Kosten vor dem Absenden einer Anfrage: Multiplizieren Sie die Anzahl der Token mit dem Preis pro Token Ihres Modells, um eine schnelle Kostenschätzung zu erhalten, anstatt die Kosten anhand der Zeichenanzahl zu schätzen.
- So prüfen Sie, ob ein langes Dokument in das Kontextfenster eines Modells passt: Fügen Sie es zunächst hier vollständig ein – das geht viel schneller als das Ausprobieren eines tatsächlichen API-Aufrufs, der möglicherweise schon auf halbem Weg fehlschlägt.
- Vergleich verschiedener Varianten des Prompt-Engineering: Wenn Sie versuchen, eine Systemprompt zu verkürzen, um Kosten zu sparen, fügen Sie jede Version hier ein, um die Token-Einsparungen direkt zu sehen – und nicht nur den Eindruck, dass sie „kürzer aussieht“.
- Nicht-englischer Text: Die Tokenanzahl für Chinesisch, Japanisch, Koreanisch und andere nicht-lateinische Schriftsysteme ist pro Zeichen oft deutlich höher als im Englischen – überprüfen Sie dies ausdrücklich, anstatt davon auszugehen, dass die Regel „4 Zeichen pro Token“ gilt.
Häufig gestellte Fragen
Warum ergibt derselbe Text bei verschiedenen Modellen eine unterschiedliche Token-Anzahl?
GPT-4o und GPT-4o mini verwenden einen neueren Tokenizer (o200k_base) als GPT-4 und GPT-3.5 (cl100k_base) – die beiden Kodierungen unterteilen den Text in unterschiedlich große Wortgruppen, sodass genau dieselbe Eingabe je nach verwendetem Modell zu einer unterschiedlichen Anzahl von Tokens führen kann.
Entspricht 1 Token wirklich etwa 4 Zeichen?
Das ist ein grober Durchschnittswert für englische Prosa, der jedoch stark variieren kann: Gängige englische Wörter werden oft mit jeweils einem Token gezählt, während seltene Wörter, Code und insbesondere nicht-lateinische Schriften (Chinesisch, Japanisch, Koreanisch, Arabisch) deutlich mehr Token pro Zeichen beanspruchen können. Überprüfen Sie bei kosten- oder limitabhängigen Angelegenheiten stets die genaue Anzahl, anstatt sich auf die Faustregel von 4 Zeichen zu verlassen.
Ruft dieses Tool die OpenAI-API auf, um Token zu zählen?
Nein. Es wird eine JavaScript-Implementierung derselben Tokenizer-Kodierungen (o200k_base, cl100k_base) verwendet, die vollständig in Ihrem Browser ausgeführt wird. Es ist kein API-Schlüssel erforderlich, es werden keine Netzwerkanfragen gestellt, und Ihr Text wird zu keinem Zeitpunkt an einen anderen Ort gesendet.
Warum ist die Anzahl meiner Token von Bedeutung?
Dafür gibt es zwei Gründe: Die API-Kosten werden pro Token (Eingabe und Ausgabe) abgerechnet, und jedes Modell verfügt über ein maximales Kontextfenster, das in Token gemessen wird – wenn Ihre Eingabe zusammen mit der erwarteten Antwort dieses Limit überschreitet, schlägt die Anfrage fehl oder wird gekürzt. Wenn Sie die Token-Anzahl im Voraus überprüfen, vermeiden Sie beide Überraschungen.
Funktioniert das auch bei Claude, Gemini oder anderen Modellen, die nicht von OpenAI stammen?
Die angezeigten Werte beziehen sich speziell auf die Tokenizer von OpenAI (o200k_base und cl100k_base). Andere Anbieter verwenden ihre eigenen Tokenizer, die für denselben Text deutlich abweichende Werte liefern können – diese werden von diesem Tool nicht berücksichtigt.