CodeKitHubEn quoi consiste cet outil ?
Les modèles linguistiques ne traitent pas le texte caractère par caractère ou mot par mot : ils le divisent en « tokens », c'est-à-dire des segments qui comptent souvent quelques caractères (environ 4 caractères ou 0,75 mot par token en anglais, bien que cela varie considérablement selon la langue et le contenu). Le nombre de tokens détermine directement le coût de votre API et permet de savoir si votre invite tient dans la fenêtre de contexte du modèle.
Cet outil utilise les encodages réels des tokenizers — o200k_base (utilisé par GPT-4o et GPT-4o mini) et cl100k_base (utilisé par GPT-4 et GPT-3.5) — plutôt qu’une approximation grossière du type « caractères divisés par 4 », de sorte que le compteur affiché ici correspond exactement au montant qui vous sera facturé ou à la limite qui vous sera appliquée.
Pourquoi l'utiliser ?
- Codages réels du tokeniseur (o200k_base, cl100k_base) — il ne s'agit pas d'une estimation basée sur le nombre de caractères.
- Changez de modèle en un clin d'œil pour comparer les différentes façons dont un même texte est segmenté.
- Le nombre de caractères et de mots est indiqué à côté, pour une consultation rapide.
- Les mises à jour s'affichent en temps réel, au fur et à mesure que vous tapez ou collez — pas besoin de cliquer sur un bouton.
- 100 % local — votre consigne ou votre document n'est jamais mis en ligne, ce qui est important s'il contient des informations confidentielles ou sensibles.
Mode d'emploi
- Collez ou saisissez votre texte, votre instruction ou votre code dans le champ prévu à cet effet.
- Sélectionnez le modèle de votre choix (GPT-4o / GPT-4o mini, ou GPT-4 / GPT-3.5).
- Le nombre de jetons est mis à jour instantanément — changez de modèle pour comparer.
- Utilisez les compteurs de caractères/mots indiqués ci-contre pour vérifier la cohérence de votre texte ou pour les limites qui ne sont pas basées sur le nombre de jetons.
Exemple
Entrée
"Hello, world!" (GPT-4o encoding)Résultat
4 tokens, 13 caractères, 2 motsLes phrases courtes courantes sont souvent segmentées à raison d'un token par mot ou par signe de ponctuation, mais cela varie en fonction de l'emploi des majuscules, de l'espacement et de la langue.
Quel tokeniseur devriez-vous tester ?
Ces deux encodages ne sont pas interchangeables : choisissez celui qui correspond au modèle que vous appelez réellement, car un même texte peut donner lieu à un nombre de tokens sensiblement différent selon l'encodage utilisé.
| Gamme de modèles | Tokeniseur | Quand l'utiliser ? |
|---|---|---|
| Modèles de raisonnement GPT-4o, GPT-4o mini, GPT-4.1, o1/o3 | o200k_base | Toute version actuelle d'un modèle OpenAI — il s'agit du tokeniseur qu'OpenAI a intégré à tous ses modèles récents depuis le GPT-4o. |
| GPT-4, GPT-4-turbo, GPT-3.5-turbo, text-embedding-ada-002 | Cent mille de base | Les anciens modèles OpenAI, ou si vos appels API ciblent toujours GPT-3.5/GPT-4 (et non GPT-4o) pour des raisons de coût. |
| Claude, Gemini, Llama et autres modèles non développés par OpenAI | Ni l'un ni l'autre — ce sujet n'est pas abordé ici | Ces fournisseurs utilisent leurs propres systèmes de tokenisation (qui ne reposent pas sur tiktoken) ; les chiffres indiqués ici ne correspondront donc pas à leur facturation. |
Conseils pratiques
- Estimer le coût de l'API avant d'envoyer une requête : multipliez le nombre de jetons par le prix unitaire de votre modèle pour obtenir une estimation rapide du coût, plutôt que de vous baser sur le nombre de caractères.
- Pour vérifier si un long document tient dans la fenêtre de contexte d'un modèle : collez d'abord l'intégralité du texte ici — c'est bien plus rapide que de procéder par essais et erreurs avec un appel d'API réel qui échoue en cours de route.
- Comparaison des variantes d'optimisation des invites : si vous cherchez à raccourcir l'invite d'un système pour réduire les coûts, collez chaque version ici pour constater directement le gain en nombre de tokens, et pas seulement pour constater qu'« elle semble plus courte ».
- Texte non anglais : le nombre de tokens pour le chinois, le japonais, le coréen et d'autres écritures non latines est souvent bien plus élevé par caractère que pour l'anglais — vérifiez ce point explicitement plutôt que de partir du principe que la règle des « 4 caractères par token » s'applique.
Foire aux questions
Pourquoi un même texte donne-t-il un nombre de tokens différent selon les modèles ?
GPT-4o et GPT-4o mini utilisent un tokeniseur plus récent (o200k_base) que GPT-4 et GPT-3.5 (cl100k_base) — ces deux encodages divisent le texte en segments correspondant à un vocabulaire différent ; ainsi, une même entrée peut donner lieu à un nombre de tokens différent selon le modèle utilisé.
Est-ce qu'un jeton correspond vraiment à environ 4 caractères ?
Il s'agit là d'une moyenne approximative pour la prose anglaise, mais cela varie considérablement : les mots courants en anglais correspondent souvent à un token chacun, tandis que les mots rares, le code et surtout les écritures non latines (chinois, japonais, coréen, arabe) peuvent nécessiter nettement plus de tokens par caractère. Vérifiez toujours le nombre exact pour tout ce qui est sensible aux coûts ou aux limites, plutôt que de vous fier à la règle empirique des 4 caractères.
Cet outil utilise-t-il l'API OpenAI pour compter les tokens ?
Non. Il utilise une implémentation JavaScript des mêmes encodages de tokenizer (o200k_base, cl100k_base), qui s'exécute entièrement dans votre navigateur. Aucune clé API n'est requise, aucune requête réseau n'est effectuée et votre texte n'est jamais envoyé nulle part.
Pourquoi le nombre de mes jetons est-il important ?
Il y a deux raisons à cela : la tarification de l'API se fait au token (entrée et sortie), et chaque modèle dispose d'une fenêtre de contexte maximale exprimée en tokens. Si votre prompt et la réponse attendue dépassent cette limite, la requête échoue ou est tronquée. Vérifier le nombre de tokens à l'avance permet d'éviter ces deux types de surprises.
Est-ce que cela fonctionne avec Claude, Gemini ou d'autres modèles non développés par OpenAI ?
Les chiffres indiqués concernent spécifiquement les tokenizers d'OpenAI (o200k_base et cl100k_base). D'autres fournisseurs utilisent leurs propres tokenizers, qui peuvent donner des résultats sensiblement différents pour un même texte — cet outil ne prend pas en compte ces derniers.