CodeKitHubKaj je to orodje?
Jezikovni modeli besedila ne obdelujejo znak za znakom ali besedo za besedo — razdelijo ga na "žetone" (tokene), koščke, ki so pogosto dolgi nekaj znakov (v angleščini približno 4 znaki ali 0,75 besede na žeton, čeprav se to precej razlikuje glede na jezik in vsebino). Število žetonov neposredno določa strošek API-ja in ali tvoj poziv sploh spravi v kontekstno okno modela.
To orodje uporablja resnične kodirnike tokenizatorjev — o200k_base (uporabljata ga GPT-4o in GPT-4o mini) in cl100k_base (uporabljata ga GPT-4 in GPT-3.5) — namesto grobe ocene "znaki deljeno s 4", zato se število, ki ga vidiš tukaj, ujema s tistim, po katerem si dejansko zaračunan ali omejen.
Zakaj ga uporabiti?
- Resnični kodirniki tokenizatorjev (o200k_base, cl100k_base) — ne ugibanje na podlagi števila znakov.
- Takojšen preklop med modeli za primerjavo, kako se isto besedilo drugače tokenizira.
- Poleg tega prikazano tudi število znakov in besed za hiter pregled.
- Posodablja se sproti med tipkanjem ali lepljenjem — brez gumba za klik.
- 100 % lokalno — tvoj poziv ali dokument se nikoli ne naloži, kar je pomembno, če vsebuje lastniško ali občutljivo besedilo.
Kako ga uporabljati
- Prilepi ali vtipkaj svoje besedilo, poziv ali kodo v polje.
- Izberi model, na katerega ciljaš (GPT-4o / GPT-4o mini, ali GPT-4 / GPT-3.5).
- Število žetonov se takoj posodobi — preklopi med modeli za primerjavo.
- Uporabi število znakov/besed poleg za hitro preverjanje ali za omejitve, ki niso vezane na žetone.
Primer
Vnos
"Hello, world!" (kodiranje GPT-4o)Rezultat
4 žetoni, 13 znakov, 2 besediKratke pogoste fraze se pogosto tokenizirajo kot 1 žeton na besedo ali ločilo, a to se spreminja glede na velike/male črke, presledke in jezik.
Kateri tokenizator naj preveriš?
Kodirnika nista zamenljiva — izberi tistega, ki ustreza modelu, ki ga dejansko kličeš, saj se lahko isto besedilo tokenizira v opazno drugačno število pri vsakem.
| Družina modelov | Tokenizator | Kdaj ga uporabiti |
|---|---|---|
| GPT-4o, GPT-4o mini, GPT-4.1, modeli razmišljanja o1/o3 | o200k_base | Katerakoli trenutna izdaja modela OpenAI — to je tokenizator, ki ga je OpenAI uporabil za vse novejše modele od GPT-4o naprej. |
| GPT-4, GPT-4-turbo, GPT-3.5-turbo, text-embedding-ada-002 | cl100k_base | Starejši ali opuščeni OpenAI modeli, ali če tvoji API klici še vedno ciljajo na GPT-3.5/GPT-4 (ne GPT-4o) zaradi stroškov. |
| Claude, Gemini, Llama, drugi modeli, ki niso OpenAI | Nobeden — tu ni pokrit | Ti ponudniki uporabljajo svoje lastne tokenizatorje (ne temeljijo na tiktoken); števila tukaj se ne bodo ujemala z njihovim zaračunavanjem. |
Praktični nasveti
- Ocenjevanje stroška API-ja pred pošiljanjem zahteve: pomnoži število žetonov s ceno na žeton svojega modela, da dobiš hitro oceno stroška, namesto ugibanja iz števila znakov.
- Preverjanje, ali dolg dokument spravi v kontekstno okno modela: prilepi celotno besedilo najprej sem — to je precej hitreje kot poskušanje pravega API klica, ki na polovici odpove.
- Primerjava variant oblikovanja pozivov: če poskušaš skrajšati sistemski poziv za prihranek stroškov, prilepi vsako različico sem, da vidiš prihranek žetonov neposredno, ne le "izgleda krajše".
- Besedilo, ki ni angleško: število žetonov za kitajščino, japonščino, korejščino in druge pisave, ki niso latinske, je pogosto precej višje na znak kot za angleščino — to izrecno preveri namesto predpostavljanja, da velja pravilo 4 znakov na žeton.
Pogosta vprašanja
Zakaj isto besedilo da drugačno število žetonov za različne modele?
GPT-4o in GPT-4o mini uporabljata novejši tokenizator (o200k_base) kot GPT-4 in GPT-3.5 (cl100k_base) — kodirnika besedilo razdelita na drugačen besedni zaklad koščkov, zato se lahko isti vhod tokenizira v drugačno število glede na model, na katerega ciljaš.
Ali je 1 žeton res približno 4 znaki?
To je groba povprečna vrednost za angleško prozo, a se precej razlikuje: pogoste angleške besede so pogosto vsaka po 1 žeton, medtem ko redke besede, koda in zlasti pisave, ki niso latinske (kitajščina, japonščina, korejščina, arabščina), lahko zahtevajo opazno več žetonov na znak. Za vse, kar je občutljivo na strošek ali omejitev, vedno preveri natančno število namesto zanašanja na pravilo 4 znakov.
Ali to orodje kliče OpenAI API za štetje žetonov?
Ne. Uporablja JavaScript implementacijo istih kodirnikov tokenizatorjev (o200k_base, cl100k_base), ki teče izključno v tvojem brskalniku. Ni potreben API ključ, ni omrežne zahteve, tvoje besedilo se nikoli nikamor ne pošlje.
Zakaj je moje število žetonov pomembno?
Dva razloga: API cene se zaračunavajo po žetonu (vhod in izhod), vsak model pa ima največje kontekstno okno, merjeno v žetonih — če tvoj poziv skupaj s pričakovanim odgovorom presega to omejitev, zahteva odpove ali je skrajšana. Preverjanje števila žetonov vnaprej se izogne obema presenečenjema.
Ali to deluje za Claude, Gemini ali druge modele, ki niso OpenAI?
Prikazana števila veljajo posebej za OpenAI tokenizatorje (o200k_base in cl100k_base). Drugi ponudniki uporabljajo svoje lastne tokenizatorje, ki lahko za isto besedilo dajo bistveno drugačna števila — to orodje tega ne pokriva.
Koliko žetonov naj pričakujem na besedo?
Za navadno angleško prozo približno 0,75 besede na žeton — torej članek s 1.000 besedami pristane pri približno 1.300 žetonih. Koda se običajno tokenizira manj učinkovito zaradi zamikov in simbolov, pisave, ki niso latinske, pa stanejo še več: kitajsko besedilo pogosto uporabi enega ali več žetonov na znak. Če načrtuješ stroške API-ja, izmeri svoje dejansko besedilo tukaj namesto ocenjevanja iz števila besed.