CodeKitHubWat is deze tool?
Taalmodellen verwerken tekst niet karakter voor karakter of woord voor woord — ze splitsen het in "tokens", brokken die vaak een paar tekens lang zijn (ruwweg 4 tekens of 0,75 woorden per token in het Engels, hoewel dit sterk varieert per taal en inhoud). Het aantal tokens bepaalt direct je API-kosten en of je prompt binnen het contextvenster van een model past.
Deze tool gebruikt de echte tokenizer-encodings — o200k_base (gebruikt door GPT-4o en GPT-4o mini) en cl100k_base (gebruikt door GPT-4 en GPT-3.5) — in plaats van een ruwe benadering van "tekens gedeeld door 4", zodat het aantal dat je hier ziet overeenkomt met wat je daadwerkelijk in rekening wordt gebracht of waar je door wordt beperkt.
Waarom gebruiken?
- Echte tokenizer-encodings (o200k_base, cl100k_base) — geen schatting op basis van tekenaantal.
- Wissel direct van model om te vergelijken hoe dezelfde tekst anders wordt getokeniseerd.
- Teken- en woordaantallen ernaast getoond, voor snelle referentie.
- Werkt live bij terwijl je typt of plakt — geen knop om te klikken.
- 100% lokaal — je prompt of document wordt nooit geüpload, wat belangrijk is als het bedrijfseigen of gevoelige tekst bevat.
Hoe te gebruiken
- Plak of typ je tekst, prompt of code in het vak.
- Kies het model waarop je mikt (GPT-4o / GPT-4o mini, of GPT-4 / GPT-3.5).
- Het aantal tokens wordt direct bijgewerkt — wissel van model om te vergelijken.
- Gebruik het teken-/woordaantal ernaast als sanity check of voor limieten die niet op tokens gebaseerd zijn.
Voorbeeld
Invoer
"Hello, world!" (GPT-4o-encoding)Uitvoer
4 tokens, 13 tekens, 2 woordenKorte, veelvoorkomende zinnen worden vaak getokeniseerd als 1 token per woord of leesteken, maar dit verschilt per hoofdlettergebruik, spatiëring en taal.
Welke tokenizer moet je controleren?
De twee encodings zijn niet inwisselbaar — kies degene die overeenkomt met het model dat je daadwerkelijk aanroept, aangezien dezelfde tekst bij elk merkbaar anders kan tokeniseren.
| Modelfamilie | Tokenizer | Wanneer te gebruiken |
|---|---|---|
| GPT-4o, GPT-4o mini, GPT-4.1, o1/o3 redeneermodellen | o200k_base | Elk huidig OpenAI-modelrelease — dit is de tokenizer die OpenAI voor alle nieuwere modellen sinds GPT-4o heeft uitgebracht. |
| GPT-4, GPT-4-turbo, GPT-3.5-turbo, text-embedding-ada-002 | cl100k_base | Oudere of verouderde OpenAI-modellen, of als je API-aanroepen om kostenredenen nog steeds op GPT-3.5/GPT-4 (niet GPT-4o) mikken. |
| Claude, Gemini, Llama, andere modellen niet van OpenAI | Geen van beide — hier niet gedekt | Deze aanbieders gebruiken hun eigen tokenizers (niet op tiktoken gebaseerd); aantallen hier komen niet overeen met hun facturering. |
Praktische tips
- API-kosten schatten vóór het versturen van een verzoek: vermenigvuldig het aantal tokens met de prijs per token van je model voor een snelle kostenschatting, in plaats van te gissen op basis van het aantal tekens.
- Controleren of een lang document past in het contextvenster van een model: plak het geheel hier eerst — veel sneller dan trial-and-error met een echte API-aanroep die halverwege faalt.
- Prompt-engineeringvarianten vergelijken: als je een systeemprompt probeert in te korten om kosten te besparen, plak elke versie hier om de tokenbesparing direct te zien, niet alleen "het lijkt korter".
- Niet-Engelse tekst: aantallen tokens voor Chinees, Japans, Koreaans en andere niet-Latijnse schriften zijn vaak veel hoger per teken dan Engels — controleer dit expliciet in plaats van uit te gaan van de vuistregel van 4 tekens per token.
Veelgestelde vragen
Waarom geeft dezelfde tekst een ander aantal tokens voor verschillende modellen?
GPT-4o en GPT-4o mini gebruiken een nieuwere tokenizer (o200k_base) dan GPT-4 en GPT-3.5 (cl100k_base) — de twee encodings splitsen tekst op in een andere vocabulaire van brokken, dus dezelfde input kan tot een ander aantal tokens leiden afhankelijk van het model waarop je mikt.
Is 1 token echt ongeveer 4 tekens?
Dat is een ruw gemiddelde voor Engelstalig proza, maar het varieert sterk: veelvoorkomende Engelse woorden zijn vaak 1 token elk, terwijl zeldzame woorden, code en vooral niet-Latijnse schriften (Chinees, Japans, Koreaans, Arabisch) merkbaar meer tokens per teken kunnen kosten. Controleer altijd het exacte aantal voor alles wat kosten- of limietgevoelig is, in plaats van te vertrouwen op de vuistregel van 4 tekens.
Roept deze tool de OpenAI-API aan om tokens te tellen?
Nee. Er wordt een JavaScript-implementatie van dezelfde tokenizer-encodings gebruikt (o200k_base, cl100k_base), die volledig in je browser draait. Geen API-sleutel nodig, geen netwerkverzoek, en je tekst wordt nergens naartoe gestuurd.
Waarom is mijn aantal tokens belangrijk?
Twee redenen: API-prijzen worden per token in rekening gebracht (invoer en uitvoer), en elk model heeft een maximaal contextvenster gemeten in tokens — als je prompt plus verwachte antwoord die limiet overschrijdt, mislukt het verzoek of wordt het afgekapt. Vooraf het aantal tokens controleren voorkomt beide verrassingen.
Werkt dit voor Claude, Gemini of andere modellen die niet van OpenAI zijn?
De getoonde aantallen zijn specifiek voor OpenAI's tokenizers (o200k_base en cl100k_base). Andere aanbieders gebruiken hun eigen tokenizers, die bij dezelfde tekst een merkbaar ander aantal kunnen opleveren — deze tool dekt die niet.
Hoeveel tokens moet ik ongeveer per woord verwachten?
Voor gewoon Engels proza, ongeveer 0,75 woorden per token — dus een artikel van 1.000 woorden komt uit op ongeveer 1.300 tokens. Code tokeniseert meestal minder efficiënt door insprong en symbolen, en niet-Latijnse schriften kosten nog meer: Chinese tekst gebruikt vaak één of meer tokens per teken. Als je API-kosten begroot, meet dan je daadwerkelijke tekst hier in plaats van alleen te schatten op basis van het aantal woorden.