¿Qué es esta herramienta?
Los modelos de lenguaje no procesan el texto carácter por carácter ni palabra por palabra, sino que lo dividen en «tokens», fragmentos que suelen tener unos pocos caracteres de longitud (aproximadamente 4 caracteres o 0,75 palabras por token en inglés, aunque esto varía mucho según el idioma y el contenido). El recuento de tokens determina directamente el coste de tu API y si tu solicitud cabe dentro de la ventana de contexto del modelo.
Esta herramienta utiliza las codificaciones reales de los tokenizadores — o200k_base (utilizada por GPT-4o y GPT-4o mini) y cl100k_base (utilizada por GPT-4 y GPT-3.5) —, en lugar de una aproximación aproximada del tipo «caracteres divididos por 4», por lo que el recuento que ves aquí coincide con lo que realmente se te facturaría o con lo que se te limitaría.
¿Por qué utilizarlo?
- Codificaciones reales del tokenizador (o200k_base, cl100k_base): no se trata de una estimación basada en el recuento de caracteres.
- Cambia de modelo al instante para comparar cómo se segmenta de forma diferente un mismo texto.
- El recuento de caracteres y de palabras se muestra al lado, para una consulta rápida.
- Las actualizaciones se realizan en tiempo real mientras escribes o pegas, sin necesidad de pulsar ningún botón.
- 100 % local: tu solicitud o documento nunca se sube a la nube, lo cual es importante si contiene texto confidencial o de carácter privado.
Cómo utilizarlo
- Pega o escribe tu texto, comando o código en el cuadro.
- Elige el modelo que te interese (GPT-4o / GPT-4o mini, o GPT-4 / GPT-3.5).
- El recuento de fichas se actualiza al instante: cambia de modelo para compararlos.
- Utiliza los recuentos de caracteres y palabras que aparecen al lado como comprobación de coherencia o para límites que no se basan en tokens.
Ejemplo
Entrada
"Hello, world!" (GPT-4o encoding)Resultado
4 tokens, 13 characters, 2 wordsLas frases cortas habituales suelen segmentarse en un token por palabra o signo de puntuación, aunque esto varía en función del uso de mayúsculas, los espacios y el idioma.
¿Qué tokenizador deberías probar?
Las dos codificaciones no son intercambiables: elige la que se corresponda con el modelo que estés llamando realmente, ya que el mismo texto puede dar lugar a un recuento de tokens notablemente diferente en cada una de ellas.
| Familia de modelos | Tokenizador | Cuándo utilizarlo |
|---|---|---|
| GPT-4o, GPT-4o mini, GPT-4.1 y los modelos de razonamiento o1/o3 | o200k_base | Cualquier versión actual de un modelo de OpenAI: se trata del tokenizador que OpenAI ha incluido en todos los modelos más recientes desde el GPT-4o. |
| GPT-4, GPT-4-turbo, GPT-3.5-turbo, text-embedding-ada-002 | cl100k_base | Modelos antiguos o heredados de OpenAI, o si tus llamadas a la API siguen dirigiéndose a GPT-3.5/GPT-4 (y no a GPT-4o) por motivos de coste. |
| Claude, Gemini, Llama y otros modelos que no son de OpenAI | Ninguna de las dos — no se trata aquí | Estos proveedores utilizan sus propios tokenizadores (que no se basan en tiktoken); por lo tanto, los recuentos que aparecen aquí no coincidirán con su facturación. |
Consejos prácticos
- Cómo calcular el coste de la API antes de enviar una solicitud: multiplica el número de tokens por el precio por token de tu modelo para obtener una estimación rápida del coste, en lugar de hacer una estimación aproximada basándote en el número de caracteres.
- Comprobar si un documento largo cabe en la ventana de contexto de un modelo: pega primero todo el texto aquí; es mucho más rápido que ir probando a ciegas con una llamada a la API real que acaba fallando a mitad de camino.
- Comparación de variantes de ingeniería de prompts: si estás intentando acortar el prompt de un sistema para ahorrar costes, pega cada versión aquí para ver directamente el ahorro de tokens, y no solo que «parece más corto».
- Texto en idiomas distintos del inglés: el número de tokens en chino, japonés, coreano y otros alfabetos no latinos suele ser mucho mayor por carácter que en inglés; compruébalo expresamente en lugar de dar por sentado que se aplica la regla de «4 caracteres por token».
Preguntas frecuentes
¿Por qué un mismo texto arroja un recuento de tokens diferente según el modelo?
GPT-4o y GPT-4o mini utilizan un tokenizador más reciente (o200k_base) que GPT-4 y GPT-3.5 (cl100k_base): las dos codificaciones dividen el texto en fragmentos con un vocabulario diferente, por lo que una misma entrada puede dar lugar a un recuento de tokens distinto en función del modelo que se utilice.
¿De verdad 1 token equivale a unos 4 caracteres?
Esa es una media aproximada para la prosa en inglés, pero varía mucho: las palabras comunes en inglés suelen contar como un token cada una, mientras que las palabras poco frecuentes, el código y, sobre todo, los alfabetos no latinos (chino, japonés, coreano, árabe) pueden ocupar un número notablemente mayor de tokens por carácter. Comprueba siempre el recuento exacto para cualquier cosa que dependa de costes o límites, en lugar de fiarte de la regla empírica de los 4 caracteres.
¿Esta herramienta utiliza la API de OpenAI para contar los tokens?
No. Utiliza una implementación en JavaScript de las mismas codificaciones de tokenización (o200k_base, cl100k_base), que se ejecuta íntegramente en tu navegador. No se necesita ninguna clave de API, no se realiza ninguna solicitud de red y tu texto nunca se envía a ningún sitio.
¿Por qué es importante mi recuento de fichas?
Hay dos razones: la tarificación de la API se factura por token (entrada y salida), y cada modelo tiene una ventana de contexto máxima que se mide en tokens; si tu solicitud más la respuesta esperada superan ese límite, la solicitud falla o se trunca. Comprobar el recuento de tokens con antelación evita ambas sorpresas.
¿Funciona esto con Claude, Gemini u otros modelos que no sean de OpenAI?
Las cifras que se muestran corresponden específicamente a los tokenizadores de OpenAI (o200k_base y cl100k_base). Otros proveedores utilizan sus propios tokenizadores, lo que puede dar lugar a cifras significativamente diferentes para un mismo texto; esta herramienta no tiene en cuenta esos casos.