¿Qué son los tokens y por qué importan tanto cuando usas ChatGPT?
Los tokens son la unidad básica con la que los modelos de lenguaje —como ChatGPT— leen y generan texto. Pero aunque suelen pasar desapercibidos, los tokens son clave para entender cómo piensa y cuánto te puede responder una IA.
1. ¿Qué es un token?
Un token es, a grandes rasgos, una pieza de texto. Puede ser una palabra, parte de una palabra o incluso un signo de puntuación. Por ejemplo:
-
“ChatGPT es útil” → Se divide en 4 tokens: ["Chat", "G", "PT", " es", " útil"]
2. ¿Por qué es importante?
Porque los modelos tienen un límite de tokens por conversación. GPT-4 Turbo, por ejemplo, puede manejar hasta 128.000 tokens de contexto. Eso incluye tu pregunta, el historial de la conversación, y su respuesta.
3. ¿Qué pasa si me paso de tokens?
El modelo no puede leer más allá de su límite. Si te excedes, olvidará partes anteriores o acortará sus respuestas. Además, más tokens = más coste en caso de usar la API.
4. Herramientas útiles
-
OpenAI Tokenizer: visualiza cuántos tokens tiene un texto.
-
Extensiones como PromptPerfect te ayudan a optimizar prompts para ser más eficientes.
Comprender los tokens te ayuda a escribir mejores prompts, ahorrar costes y controlar el comportamiento del modelo. No es solo una cuestión técnica, es parte del lenguaje de las IAs.