CodeKitHubApakah alat ini?
Model bahasa tidak memproses teks aksara demi aksara atau perkataan demi perkataan — ia memecahkannya menjadi "token", cebisan yang selalunya beberapa aksara panjang (kira-kira 4 aksara atau 0.75 perkataan setiap token dalam bahasa Inggeris, walaupun ini berbeza banyak mengikut bahasa dan kandungan). Kiraan token secara langsung menentukan kos API anda dan sama ada prompt anda muat dalam tetingkap konteks model.
Alat ini menggunakan pengekodan tokenizer sebenar — o200k_base (digunakan oleh GPT-4o dan GPT-4o mini) dan cl100k_base (digunakan oleh GPT-4 dan GPT-3.5) — dan bukan anggaran kasar "aksara dibahagi dengan 4", jadi kiraan yang anda lihat di sini sepadan dengan apa yang sebenarnya akan anda dicaj atau dihadkan.
Kenapa guna alat ini?
- Pengekodan tokenizer sebenar (o200k_base, cl100k_base) — bukan tekaan kiraan aksara.
- Tukar model serta-merta untuk membandingkan bagaimana teks yang sama ditokenkan secara berbeza.
- Kiraan aksara dan perkataan ditunjukkan bersama, untuk rujukan pantas.
- Kemas kini secara langsung semasa anda menaip atau menampal — tiada butang untuk diklik.
- 100% tempatan — prompt atau dokumen anda tidak pernah dimuat naik, yang penting jika ia mengandungi teks proprietari atau sensitif.
Cara menggunakannya
- Tampal atau taip teks, prompt, atau kod anda ke dalam kotak.
- Pilih model yang anda sasarkan (GPT-4o / GPT-4o mini, atau GPT-4 / GPT-3.5).
- Kiraan token dikemas kini serta-merta — tukar model untuk membandingkan.
- Gunakan kiraan aksara/perkataan bersama sebagai semakan waras atau untuk had bukan berasaskan token.
Contoh
Input
"Hello, world!" (pengekodan GPT-4o)Hasil
4 token, 13 aksara, 2 perkataanFrasa pendek biasa selalunya ditokenkan sebagai 1 token setiap perkataan atau tanda baca, tetapi ini berbeza mengikut huruf besar/kecil, ruang dan bahasa.
Tokenizer mana yang perlu anda semak?
Kedua-dua pengekodan ini tidak boleh saling ditukar — pilih yang sepadan dengan model yang sebenarnya anda panggil, kerana teks yang sama boleh ditokenkan kepada kiraan yang jauh berbeza pada setiap satu.
| Keluarga model | Tokenizer | Bila digunakan |
|---|---|---|
| GPT-4o, GPT-4o mini, GPT-4.1, model penaakulan o1/o3 | o200k_base | Sebarang keluaran model OpenAI semasa — ini tokenizer yang telah dilancarkan OpenAI untuk semua keluaran model baharu sejak GPT-4o. |
| GPT-4, GPT-4-turbo, GPT-3.5-turbo, text-embedding-ada-002 | cl100k_base | Model OpenAI lama atau warisan, atau jika panggilan API anda masih menyasarkan GPT-3.5/GPT-4 (bukan GPT-4o) atas sebab kos. |
| Claude, Gemini, Llama, model bukan-OpenAI lain | Tiada — tidak diliputi di sini | Penyedia ini menggunakan tokenizer mereka sendiri (bukan berasaskan tiktoken); kiraan di sini tidak akan sepadan dengan pengebilan mereka. |
Tip praktikal
- Menganggar kos API sebelum menghantar permintaan: darabkan kiraan token dengan harga setiap token model anda untuk mendapatkan anggaran kos pantas, dan bukan menganggarkan daripada kiraan aksara.
- Menyemak sama ada dokumen panjang muat dalam tetingkap konteks model: tampal keseluruhan dokumen di sini dahulu — jauh lebih pantas daripada mencuba panggilan API sebenar yang gagal separuh jalan.
- Membandingkan varian kejuruteraan prompt: jika anda cuba memendekkan prompt sistem untuk menjimatkan kos, tampal setiap versi di sini untuk melihat penjimatan token secara langsung, bukan sekadar "nampak lebih pendek".
- Teks bukan Inggeris: kiraan token untuk teks Cina, Jepun, Korea dan skrip bukan Latin lain selalunya jauh lebih tinggi setiap aksara berbanding bahasa Inggeris — semak ini secara khusus dan bukan menganggap peraturan 4-aksara-setiap-token terpakai.
Soalan lazim
Kenapa teks yang sama memberikan kiraan token berbeza untuk model yang berbeza?
GPT-4o dan GPT-4o mini menggunakan tokenizer yang lebih baharu (o200k_base) berbanding GPT-4 dan GPT-3.5 (cl100k_base) — kedua-dua pengekodan ini memecahkan teks kepada kosa kata cebisan yang berbeza, jadi input yang sama tepat boleh ditokenkan kepada kiraan yang berbeza bergantung pada model yang anda sasarkan.
Adakah 1 token benar-benar kira-kira 4 aksara?
Itu purata kasar bagi prosa Inggeris, tetapi ia berbeza banyak: perkataan Inggeris biasa selalunya 1 token setiap satu, manakala perkataan jarang, kod, dan terutamanya skrip bukan Latin (Cina, Jepun, Korea, Arab) boleh mengambil lebih banyak token setiap aksara. Sentiasa semak kiraan tepat untuk apa-apa yang sensitif dari segi kos atau had dan bukan bergantung pada peraturan 4-aksara itu.
Adakah alat ini memanggil API OpenAI untuk mengira token?
Tidak. Ia menggunakan pelaksanaan JavaScript bagi pengekodan tokenizer yang sama (o200k_base, cl100k_base), berjalan sepenuhnya dalam pelayar anda. Tiada kunci API diperlukan, tiada permintaan rangkaian dibuat, dan teks anda tidak pernah dihantar ke mana-mana.
Kenapa kiraan token saya penting?
Dua sebab: harga API dicaj setiap token (input dan output), dan setiap model mempunyai tetingkap konteks maksimum yang diukur dalam token — jika prompt anda ditambah respons yang dijangka melebihi had itu, permintaan gagal atau dipenggal. Menyemak kiraan token terlebih dahulu mengelakkan kedua-dua kejutan itu.
Adakah ini berfungsi untuk Claude, Gemini, atau model bukan-OpenAI lain?
Kiraan yang ditunjukkan adalah khusus untuk tokenizer OpenAI (o200k_base dan cl100k_base). Penyedia lain menggunakan tokenizer mereka sendiri, yang boleh memberikan kiraan yang sangat berbeza untuk teks yang sama — alat ini tidak meliputi itu.
Berapa banyak token yang perlu saya jangka setiap perkataan?
Untuk prosa Inggeris biasa, kira-kira 0.75 perkataan setiap token — jadi artikel 1,000 perkataan berada sekitar 1,300 token. Kod biasanya ditokenkan dengan kurang cekap kerana inden dan simbol, dan skrip bukan Latin lebih tinggi lagi: teks Cina selalunya menggunakan satu atau lebih token setiap aksara. Jika anda membajet kos API, ukur teks sebenar anda di sini dan bukan menganggarkan daripada kiraan perkataan sahaja.