CodeKitHubKas yra šis įrankis?
Kalbos modeliai neapdoroja teksto simbolis po simbolio ar žodis po žodžio — jie jį suskaido į „žetonus“, dažnai kelių simbolių ilgio dalis (angliškame tekste maždaug 4 simboliai arba 0,75 žodžio vienam žetonui, tačiau tai gerokai skiriasi priklausomai nuo kalbos ir turinio). Žetonų skaičius tiesiogiai lemia jūsų API kainą ir tai, ar jūsų užklausa telpa į modelio konteksto langą.
Šis įrankis naudoja tikrus žetonų koduotuvus — o200k_base (naudoja GPT-4o ir GPT-4o mini) ir cl100k_base (naudoja GPT-4 ir GPT-3.5) — o ne apytikslį „simboliai padalyti iš 4“ apskaičiavimą, tad čia matomas skaičius atitinka tai, už ką jums iš tikrųjų būtų apmokestinama arba pagal ką ribojama.
Kodėl jį naudoti?
- Realūs žetonų koduotuvai (o200k_base, cl100k_base) — ne simbolių skaičiaus spėjimas.
- Akimirksniu perjunkite modelius, kad palygintumėte, kaip tas pats tekstas skaidomas skirtingai.
- Šalia rodomi simbolių ir žodžių skaičiai greitam patikrinimui.
- Atsinaujina gyvai renkant ar įklijuojant tekstą — jokio mygtuko spausti nereikia.
- 100 % vietoje — jūsų užklausa ar dokumentas niekada neįkeliamas, o tai svarbu, jei jame yra nuosavybinio ar neskelbtino teksto.
Kaip naudoti
- Įklijuokite ar įveskite savo tekstą, užklausą ar kodą į langelį.
- Pasirinkite modelį, į kurį taikotės (GPT-4o / GPT-4o mini arba GPT-4 / GPT-3.5).
- Žetonų skaičius atsinaujina akimirksniu — perjunkite modelius, kad palygintumėte.
- Naudokite simbolių/žodžių skaičius šalia kaip patikrinimą arba ne su žetonais susijusioms riboms.
Pavyzdys
Įvestis
„Hello, world!“ (GPT-4o kodavimas)Išvestis
4 žetonai, 13 simbolių, 2 žodžiaiĮprastos trumpos frazės dažnai suskaidomos po 1 žetoną žodžiui ar skyrybos ženklui, tačiau tai priklauso nuo didžiųjų raidžių, tarpų ir kalbos.
Kurį žetonų koduotuvą tikrinti?
Šie du koduotuvai nėra pakeičiami vienas kitu — rinkitės tą, kuris atitinka modelį, kurį iš tikrųjų kviečiate, nes tas pats tekstas gali būti suskaidytas į pastebimai skirtingą skaičių kiekvienu atveju.
| Modelių šeima | Žetonų koduotuvas | Kada naudoti |
|---|---|---|
| GPT-4o, GPT-4o mini, GPT-4.1, o1/o3 samprotavimo modeliai | o200k_base | Bet kuris dabartinis OpenAI modelio leidimas — tai žetonų koduotuvas, kurį OpenAI naudoja visuose naujesniuose modeliuose nuo GPT-4o. |
| GPT-4, GPT-4-turbo, GPT-3.5-turbo, text-embedding-ada-002 | cl100k_base | Senesni ar pasenę OpenAI modeliai, arba jei jūsų API kvietimai vis dar taikosi į GPT-3.5/GPT-4 (ne GPT-4o) dėl kainos priežasčių. |
| Claude, Gemini, Llama, kiti ne OpenAI modeliai | Nei vienas — čia neapimama | Šie tiekėjai naudoja savo žetonų koduotuvus (ne tiktoken pagrindu), tad čia rodomi skaičiai neatitiks jų apmokestinimo. |
Praktiniai patarimai
- API kainos įvertinimas prieš siunčiant užklausą: padauginkite žetonų skaičių iš savo modelio kainos už žetoną, kad gautumėte greitą kainos įvertį, o ne spėtumėte pagal simbolių skaičių.
- Tikrinimas, ar ilgas dokumentas telpa į modelio konteksto langą: pirmiausia įklijuokite visą jį čia — tai gerokai greičiau nei bandymai per faktinį API kvietimą, kuris nepavyksta įpusėjus.
- Užklausų kūrimo variantų palyginimas: jei bandote sutrumpinti sisteminę užklausą, kad sutaupytumėte, įklijuokite kiekvieną versiją čia ir pamatykite žetonų sutaupymą tiesiogiai, o ne vien „atrodo trumpiau“.
- Ne angliškas tekstas: kinų, japonų, korėjiečių ir kitų ne lotyniško rašto sistemų žetonų skaičius vienam simboliui dažnai gerokai didesnis nei anglų kalboje — patikrinkite tai aiškiai, o ne darykite prielaidą, kad galioja 4 simbolių vienam žetonui taisyklė.
Dažniausiai užduodami klausimai
Kodėl tas pats tekstas skirtingiems modeliams duoda skirtingą žetonų skaičių?
GPT-4o ir GPT-4o mini naudoja naujesnį žetonų koduotuvą (o200k_base) nei GPT-4 ir GPT-3.5 (cl100k_base) — abu koduotuvai skaido tekstą į skirtingą dalių žodyną, tad tas pats įvestas tekstas gali būti suskaidytas į skirtingą skaičių, priklausomai nuo to, į kurį modelį taikotės.
Ar 1 žetonas iš tikrųjų yra apie 4 simboliai?
Tai apytikslis vidurkis angliškai prozai, bet gerokai skiriasi: dažni angliški žodžiai dažnai yra po 1 žetoną, o retesni žodžiai, kodas ir ypač ne lotyniška rašto sistema (kinų, japonų, korėjiečių, arabų) gali naudoti pastebimai daugiau žetonų vienam simboliui. Visada tikrinkite tikslų skaičių, jei tai svarbu kainai ar ribojimams, o ne pasikliaukite 4 simbolių taisykle.
Ar šis įrankis kviečia OpenAI API žetonams skaičiuoti?
Ne. Jis naudoja JavaScript to paties žetonų koduotuvo (o200k_base, cl100k_base) realizaciją, veikiančią visiškai jūsų naršyklėje. Nereikia API rakto, nesiunčiama jokių tinklo užklausų, o jūsų tekstas niekada niekur nesiunčiamas.
Kodėl svarbu žinoti žetonų skaičių?
Dvi priežastys: API kaina apmokestinama pagal žetoną (įvestis ir išvestis), o kiekvienas modelis turi maksimalų kontekstų langą, matuojamą žetonais — jei jūsų užklausa kartu su tikėtinu atsakymu viršija šią ribą, užklausa nepavyksta arba sutrumpinama. Iš anksto patikrinus žetonų skaičių, abiejų netikėtumų išvengiama.
Ar tai veikia Claude, Gemini ar kitiems modeliams, kurie nėra iš OpenAI?
Rodomi skaičiai skirti būtent OpenAI žetonų koduotuvams (o200k_base ir cl100k_base). Kiti tiekėjai naudoja savo žetonų koduotuvus, kurie gali duoti reikšmingai skirtingą skaičių tam pačiam tekstui — šis įrankis jų neapima.
Kiek žetonų reikėtų tikėtis vienam žodžiui?
Paprastam angliškam tekstui — maždaug 0,75 žodžio vienam žetonui, tad 1000 žodžių straipsnis siekia apie 1300 žetonų. Kodas paprastai skaidomas mažiau efektyviai dėl įtraukų ir simbolių, o ne lotyniška rašto sistema kainuoja dar daugiau: kinų tekstas dažnai naudoja vieną ar daugiau žetonų vienam simboliui. Jei planuojate API biudžetą, matuokite savo tikrą tekstą čia, o ne vertinkite vien pagal žodžių skaičių.