En los últimos meses, han surgido numerosos modelos de inteligencia artificial de código abierto que permiten a los usuarios ejecutarlos en sus propios ordenadores. Sin embargo, aunque la idea de tener una Inteligencia Artificial local suene atractiva, en la práctica, esto es ineficiente para la mayoría de los usuarios. La razón principal: la velocidad de generación de texto, medida en tokens por segundo.
¿Qué es un token?
Un token es la unidad básica de procesamiento en un modelo de lenguaje. En promedio, un token equivale a unas 0,75 palabras o aproximadamente 4 caracteres. Esto significa que para generar una frase de 10 palabras, un modelo IA tiene que procesar alrededor de 13-14 tokens.
Los modelos de IA actuales generan texto a una velocidad de:
-
Gemini (Google): 168 tokens/segundo.
-
ChatGPT-4 (OpenAI): 119 tokens/segundo.
-
DeepSeek (modelo de IA libre): 21 tokens/segundo.
Esto significa que ChatGPT-4 puede generar unas 90 palabras por segundo, mientras que DeepSeek apenas llega a 15 palabras por segundo. Esto se debe a que estos modelos funcionan en servidores con potencias computacionales enormes, diseñadas para manejar millones de solicitudes simultáneas.
Ejecutando una IA en tu ordenador
Si decides instalar una IA en tu ordenador, hay tres formas de hacerlo, pero ninguna es realmente eficiente para el usuario común:
-
Ejecutarla en la CPU de un ordenador normal
-
Velocidad estimada: 1-2 tokens/segundo.
-
Para una respuesta de 500 palabras (aproximadamente 700 tokens), la IA tardaría entre 6 y 12 minutos.
-
Prácticamente inviable para un uso cotidiano.
-
-
Ejecutarla con una tarjeta gráfica (GPU) de un ordenador gamer
-
Velocidad estimada: 5 tokens/segundo.
-
Para la misma respuesta de 500 palabras, el tiempo de espera sería de alrededor de 2 minutos.
-
Sigue siendo demasiado lento para un uso fluido.
-
-
Ejecutarla con una tarjeta NVIDIA H100 (€25.000 o más)
-
Velocidad estimada: 60 tokens/segundo.
-
Tiempo de generación para 500 palabras: unos 10 segundos.
-
Sin embargo, ni siquiera los mejores gamers tienen este tipo de tarjetas gráficas, que están diseñadas para centros de datos y grandes corporaciones.
-
Conclusión: ¿Vale la pena instalar una IA en tu ordenador?
La respuesta corta es no. Aunque es técnicamente posible, la velocidad de generación es demasiado lenta para un uso práctico. La mayoría de los modelos de IA actuales están diseñados para ejecutarse en servidores especializados, con hardware optimizado para manejar procesos de inferencia a alta velocidad.
Instalar una IA en tu ordenador podría servir como un ejercicio técnico o un experimento, pero para un uso real, la mejor opción sigue siendo acceder a servicios en la nube que ofrecen estos modelos con tiempos de respuesta optimizados. En resumen, si lo que buscas es rapidez y eficiencia, es mejor dejar que la IA se ejecute en servidores profesionales en lugar de intentarlo en tu ordenador personal.