CodeKitHubCông Cụ Này Là Gì?
Các mô hình ngôn ngữ không xử lý văn bản theo từng ký tự hay từng từ — chúng chia nhỏ thành "token", các đoạn thường dài vài ký tự (khoảng 4 ký tự hoặc 0,75 từ mỗi token trong tiếng Anh, dù con số này thay đổi nhiều tùy ngôn ngữ và nội dung). Số lượng token quyết định trực tiếp chi phí API và việc prompt của bạn có vừa với cửa sổ ngữ cảnh của mô hình hay không.
Công cụ này dùng đúng bộ mã hóa token thật — o200k_base (dùng cho GPT-4o và GPT-4o mini) và cl100k_base (dùng cho GPT-4 và GPT-3.5) — thay vì ước lượng thô kiểu "số ký tự chia 4", nên con số bạn thấy ở đây khớp với những gì thực tế bạn bị tính phí hoặc giới hạn.
Tại Sao Nên Dùng?
- Bộ mã hóa token thật (o200k_base, cl100k_base) — không phải đoán theo số ký tự.
- Chuyển đổi mô hình ngay lập tức để so sánh cùng một văn bản mã hóa khác nhau ra sao.
- Số ký tự và số từ hiển thị kèm theo, tiện tham khảo nhanh.
- Cập nhật ngay khi bạn gõ hoặc dán — không cần bấm nút.
- 100% cục bộ — prompt hoặc tài liệu của bạn không bao giờ được tải lên, điều này quan trọng nếu nó chứa nội dung độc quyền hoặc nhạy cảm.
Cách Sử Dụng
- Dán hoặc gõ văn bản, prompt hay code vào ô nhập.
- Chọn mô hình bạn đang nhắm đến (GPT-4o / GPT-4o mini, hoặc GPT-4 / GPT-3.5).
- Số token cập nhật ngay lập tức — chuyển mô hình để so sánh.
- Dùng số ký tự/số từ bên cạnh để kiểm tra nhanh hoặc cho các giới hạn không dựa trên token.
Ví dụ
Đầu vào
"Hello, world!" (mã hóa GPT-4o)Đầu ra
4 token, 13 ký tự, 2 từCác cụm ngắn thông dụng thường mã hóa thành 1 token cho mỗi từ hoặc dấu câu, nhưng điều này thay đổi tùy chữ hoa/thường, khoảng trắng và ngôn ngữ.
Nên kiểm tra bộ mã hóa nào?
Hai bộ mã hóa không thể dùng thay thế cho nhau — hãy chọn đúng bộ khớp với mô hình bạn thực sự đang gọi, vì cùng một văn bản có thể mã hóa ra số lượng khác biệt đáng kể ở mỗi bộ.
| Dòng mô hình | Bộ mã hóa | Khi nào dùng |
|---|---|---|
| GPT-4o, GPT-4o mini, GPT-4.1, các mô hình suy luận o1/o3 | o200k_base | Mọi bản phát hành mô hình OpenAI hiện tại — đây là bộ mã hóa OpenAI đã dùng cho tất cả mô hình mới kể từ GPT-4o. |
| GPT-4, GPT-4-turbo, GPT-3.5-turbo, text-embedding-ada-002 | cl100k_base | Các mô hình OpenAI cũ hơn, hoặc nếu API của bạn vẫn nhắm đến GPT-3.5/GPT-4 (không phải GPT-4o) vì lý do chi phí. |
| Claude, Gemini, Llama, các mô hình khác ngoài OpenAI | Không áp dụng — không được hỗ trợ ở đây | Các nhà cung cấp này dùng bộ mã hóa riêng (không dựa trên tiktoken); số liệu ở đây sẽ không khớp với cách tính phí của họ. |
Mẹo thực tế
- Ước tính chi phí API trước khi gửi yêu cầu: nhân số token với đơn giá mỗi token của mô hình để có ước tính chi phí nhanh, thay vì đoán từ số ký tự.
- Kiểm tra xem tài liệu dài có vừa cửa sổ ngữ cảnh của mô hình không: dán toàn bộ vào đây trước — nhanh hơn nhiều so với thử-sai một cuộc gọi API thực sự bị lỗi giữa chừng.
- So sánh các phiên bản prompt engineering: nếu bạn đang cố rút gọn system prompt để tiết kiệm chi phí, dán từng phiên bản vào đây để thấy trực tiếp mức tiết kiệm token, chứ không chỉ "nhìn có vẻ ngắn hơn".
- Văn bản không phải tiếng Anh: số token cho tiếng Trung, Nhật, Hàn và các chữ viết không phải Latinh khác thường cao hơn nhiều trên mỗi ký tự so với tiếng Anh — kiểm tra rõ ràng thay vì mặc định áp dụng quy tắc 4 ký tự mỗi token.
Câu Hỏi Thường Gặp
Tại sao cùng một văn bản lại cho số token khác nhau giữa các mô hình?
GPT-4o và GPT-4o mini dùng bộ mã hóa mới hơn (o200k_base) so với GPT-4 và GPT-3.5 (cl100k_base) — hai bộ mã hóa này chia văn bản thành các bộ từ vựng khác nhau, nên cùng một đầu vào có thể cho ra số token khác nhau tùy vào mô hình bạn đang nhắm đến.
1 token có thực sự bằng khoảng 4 ký tự không?
Đó là mức trung bình thô cho văn xuôi tiếng Anh, nhưng thay đổi khá nhiều: các từ tiếng Anh thông dụng thường chỉ là 1 token, trong khi từ hiếm, code, và đặc biệt là các chữ viết không phải Latinh (tiếng Trung, Nhật, Hàn, Ả Rập) có thể tốn nhiều token hơn hẳn trên mỗi ký tự. Luôn kiểm tra số liệu chính xác cho bất cứ điều gì nhạy cảm về chi phí hoặc giới hạn, thay vì dựa vào quy tắc 4 ký tự.
Công cụ này có gọi API OpenAI để đếm token không?
Không. Nó dùng bản triển khai JavaScript của cùng bộ mã hóa (o200k_base, cl100k_base), chạy hoàn toàn trên trình duyệt của bạn. Không cần API key, không có yêu cầu mạng nào được gửi đi, và văn bản của bạn không bao giờ được gửi đi đâu cả.
Tại sao số lượng token lại quan trọng?
Hai lý do: giá API được tính theo từng token (cả đầu vào và đầu ra), và mỗi mô hình có cửa sổ ngữ cảnh tối đa tính theo token — nếu prompt cộng với phản hồi dự kiến vượt quá giới hạn đó, yêu cầu sẽ thất bại hoặc bị cắt bớt. Kiểm tra số token trước giúp tránh cả hai bất ngờ này.
Công cụ này có dùng được cho Claude, Gemini, hay các mô hình khác ngoài OpenAI không?
Số liệu hiển thị dành riêng cho bộ mã hóa của OpenAI (o200k_base và cl100k_base). Các nhà cung cấp khác dùng bộ mã hóa riêng, có thể cho ra số liệu khác biệt đáng kể với cùng một văn bản — công cụ này không bao gồm các trường hợp đó.