CodeKitHubCzym jest to narzędzie?
Modele językowe nie przetwarzają tekstu znak po znaku ani słowo po słowie — dzielą go na „tokeny”, czyli fragmenty o długości często wynoszącej kilka znaków (w języku angielskim około 4 znaków lub 0,75 słowa na token, choć różni się to znacznie w zależności od języka i treści). Liczba tokenów bezpośrednio determinuje koszt korzystania z API oraz to, czy podane polecenie mieści się w oknie kontekstowym modelu.
Narzędzie to wykorzystuje rzeczywiste kodowania tokenizatora — o200k_base (używane przez GPT-4o i GPT-4o mini) oraz cl100k_base (używane przez GPT-4 i GPT-3.5) — zamiast przybliżonego obliczenia opartego na podziale znaków przez 4, dzięki czemu liczba wyświetlana tutaj odpowiada faktycznej kwocie, jaką zapłacisz, lub limitowi, który zostanie na ciebie nałożony.
Dlaczego warto go używać?
- Rzeczywiste kodowania tokenizatora (o200k_base, cl100k_base) — nie są to przybliżone wartości oparte na liczbie znaków.
- Natychmiast przełączaj się między modelami, aby porównać, jak ten sam tekst jest dzielony na tokeny w różnych modelach.
- Liczba znaków i słów podana obok, dla szybkiego wglądu.
- Zmiany pojawiają się na bieżąco podczas wpisywania lub wklejania — nie trzeba klikać żadnego przycisku.
- W 100% lokalnie — Twoje polecenie lub dokument nigdy nie są przesyłane do serwera, co ma znaczenie, jeśli zawierają one poufne lub wrażliwe treści.
Jak używać
- Wklej lub wpisz tekst, polecenie lub kod w polu.
- Wybierz model, który Cię interesuje (GPT-4o / GPT-4o mini lub GPT-4 / GPT-3.5).
- Liczba tokenów aktualizuje się natychmiast — przełączaj modele, aby je porównać.
- Wykorzystaj podane obok liczby znaków/słów jako środek kontroli poprawności lub w przypadku ograniczeń nieopartych na tokenach.
Przykład
Wejście
"Hello, world!" (GPT-4o encoding)Wynik
4 tokens, 13 characters, 2 wordsTypowe krótkie frazy są często dzielone na tokeny w proporcji 1 token na słowo lub znak interpunkcyjny, ale zależy to od wielkich liter, odstępów i języka.
Który tokenizer warto sprawdzić?
Te dwa formaty nie są zamienne — wybierz ten, który odpowiada modelowi, z którego faktycznie korzystasz, ponieważ ten sam tekst może dać w wyniku tokenizacji zauważalnie różną liczbę tokenów w każdym z nich.
| Rodzina modeli | Tokenizer | Kiedy z tego korzystać |
|---|---|---|
| Modele rozumowania GPT-4o, GPT-4o mini, GPT-4.1 oraz o1/o3 | o200k_base | Każda aktualna wersja modelu OpenAI — jest to tokenizer, który OpenAI udostępnia wraz ze wszystkimi nowszymi modelami, począwszy od GPT-4o. |
| GPT-4, GPT-4-turbo, GPT-3.5-turbo, text-embedding-ada-002 | Sto tysięcy bazowych | Starsze lub wycofane modele OpenAI, albo jeśli z powodów finansowych Twoje wywołania API nadal kierowane są do GPT-3.5/GPT-4 (a nie do GPT-4o). |
| Claude, Gemini, Llama oraz inne modele spoza OpenAI | Żadne z powyższych — nie zostało to tutaj omówione | Dostawcy ci korzystają z własnych narzędzi do tokenizacji (nieopartych na tiktoken); podane tutaj liczby nie będą się zgadzać z ich rozliczeniami. |
Praktyczne wskazówki
- Szacowanie kosztu korzystania z API przed wysłaniem żądania: aby szybko oszacować koszt, pomnóż liczbę tokenów przez cenę za token obowiązującą dla danego modelu, zamiast opierać się na liczbie znaków.
- Sprawdzanie, czy długi dokument zmieści się w oknie kontekstowym modelu: najpierw wklej tutaj cały tekst — to znacznie szybsze niż metoda prób i błędów przy rzeczywistym wywołaniu API, które kończy się niepowodzeniem w połowie.
- Porównanie różnych wariantów optymalizacji podpowiedzi: jeśli chcesz skrócić podpowiedź systemową, aby obniżyć koszty, wklej tutaj każdą wersję, aby bezpośrednio sprawdzić oszczędność tokenów, a nie tylko stwierdzić, że „wygląda na krótszą”.
- Tekst w językach innych niż angielski: liczba tokenów w językach chińskim, japońskim, koreańskim i innych, w których stosuje się alfabety inne niż łaciński, jest często znacznie wyższa w przeliczeniu na jeden znak niż w języku angielskim — należy to dokładnie sprawdzić, zamiast zakładać, że obowiązuje zasada „4 znaki na token”.
Najczęściej zadawane pytania
Dlaczego ten sam tekst daje różną liczbę tokenów w zależności od modelu?
Modele GPT-4o i GPT-4o mini wykorzystują nowszy tokenizer (o200k_base) niż modele GPT-4 i GPT-3.5 (cl100k_base) — te dwa algorytmy dzielą tekst na fragmenty o różnym słownictwie, więc dokładnie ten sam tekst wejściowy może zostać podzielony na różną liczbę tokenów w zależności od tego, który model jest używany.
Czy 1 token to naprawdę około 4 znaków?
To przybliżona średnia dla angielskiej prozy, ale różnice są znaczne: pospolite angielskie słowa często zajmują po jednym tokenie, podczas gdy rzadkie słowa, kod, a zwłaszcza pisma nielatynskie (chińskie, japońskie, koreańskie, arabskie) mogą zajmować zauważalnie więcej tokenów na znak. W przypadku elementów, w których liczy się koszt lub limit, zawsze należy sprawdzić dokładną liczbę tokenów, zamiast polegać na przybliżonej zasadzie czterech znaków.
Czy to narzędzie korzysta z interfejsu API OpenAI w celu zliczania tokenów?
Nie. Wykorzystuje implementację w JavaScript tych samych kodowań tokenizatora (o200k_base, cl100k_base), działającą w całości w przeglądarce. Nie jest wymagany żaden klucz API, nie są wysyłane żadne żądania sieciowe, a tekst użytkownika nigdy nie jest nigdzie przesyłany.
Dlaczego liczba moich tokenów ma znaczenie?
Są dwa powody: opłaty za korzystanie z API są naliczane na podstawie liczby tokenów (wejściowych i wyjściowych), a każdy model ma określone maksymalne okno kontekstowe mierzone w tokenach — jeśli długość polecenia wraz z oczekiwaną odpowiedzią przekroczy ten limit, żądanie zakończy się niepowodzeniem lub zostanie skrócone. Sprawdzenie liczby tokenów z wyprzedzeniem pozwala uniknąć obu tych niespodzianek.
Czy to działa w przypadku modeli Claude, Gemini lub innych modeli spoza OpenAI?
Podane liczby dotyczą wyłącznie tokenizerów OpenAI (o200k_base i cl100k_base). Inni dostawcy korzystają z własnych tokenizerów, które mogą generować znacznie różne wyniki dla tego samego tekstu — niniejsze narzędzie nie uwzględnia tych przypadków.