Durante los últimos 15 años, los videojuegos han ocupado un lugar central en la investigación de Google DeepMind. Desde los primeros experimentos con Atari hasta los trabajos actuales con mundos persistentes como EVE Online, los juegos han servido como entornos para estudiar cómo los sistemas de inteligencia artificial pueden aprender, razonar, planificar y adaptarse a situaciones cada vez más complejas.
La evolución de esta investigación refleja también un cambio importante en el tipo de problemas que DeepMind busca abordar. El objetivo ya no es únicamente construir sistemas capaces de dominar un juego concreto, sino desarrollar agentes que puedan comprender mundos virtuales, interpretar instrucciones, actuar dentro de ellos y aprender de forma continua.
Este enfoque se encuentra detrás de proyectos como SIMA y de la nueva colaboración con Fenris Creations, el estudio responsable del universo EVE. La investigación se orienta ahora hacia capacidades como la memoria a largo plazo, el aprendizaje continuo, la planificación durante periodos extensos y la interacción entre múltiples agentes.
Los videojuegos como entorno para investigar la inteligencia artificial
La relación entre DeepMind y los videojuegos se remonta a los primeros años de la compañía.
Uno de sus primeros hitos fue Deep Q-Network, o DQN, una red neuronal profunda entrenada para jugar a títulos de Atari 2600 directamente a partir de los píxeles que aparecían en pantalla. El sistema aprendió a jugar a 49 juegos diferentes, entre ellos Pong, Breakout y Space Invaders, sin utilizar ingeniería específica para cada uno.
El trabajo publicado sobre DQN en 2015 contribuyó, según DeepMind, al desarrollo de la etapa moderna del aprendizaje profundo por refuerzo.
A partir de ahí, el equipo fue utilizando juegos cada vez más complejos para desarrollar sistemas más generales y capaces.
En 2016, AlphaGo derrotó al campeón mundial de Go Lee Sae Dol. Después apareció AlphaGo Zero, que superó a las versiones anteriores aprendiendo exclusivamente mediante partidas contra sí mismo y sin utilizar datos humanos.
AlphaZero llevó ese mismo enfoque a tres juegos diferentes —ajedrez, shogi y Go— utilizando un único algoritmo. MuZero avanzó un paso más al aprender a jugar sin conocer previamente las reglas.
En 2019, AlphaStar alcanzó el nivel Grandmaster en StarCraft II, un entorno que exigía gestionar complejidad en tiempo real e información imperfecta.
Cuando la IA también cambia la forma de jugar
Estos sistemas no solo alcanzaron niveles elevados de rendimiento. Algunos de sus comportamientos también mostraron formas inesperadas de afrontar los juegos.
Uno de los ejemplos destacados por DeepMind es el conocido como Movimiento 37 de AlphaGo. La jugada resultó tan inesperada que inicialmente algunos comentaristas profesionales pensaron que se trataba de un error. Posteriormente, contribuyó a que jugadores expertos exploraran nuevas estrategias.
DeepMind señala una dinámica similar en AlphaZero, cuyos sistemas inspiraron nuevas líneas de juego en ajedrez.
La compañía conecta esta línea de investigación con desarrollos posteriores fuera de los videojuegos. Según el artículo, algunas de las bases surgidas de este espíritu de exploración fueron aplicadas posteriormente en AlphaFold para abordar el problema de la predicción de estructuras de proteínas, un trabajo reconocido con el Premio Nobel de Química de 2024.
De dominar un juego a comprender cualquier entorno
Los primeros trabajos de DeepMind demostraron que un sistema de inteligencia artificial podía aprender a dominar un juego cuando disponía de un objetivo claro y suficiente entrenamiento.
Sin embargo, ese planteamiento tiene una limitación evidente dentro de la propia investigación: el mundo real no viene acompañado de puntuaciones ni de libros de reglas.
A partir de ahí surge una pregunta diferente: ¿puede una inteligencia artificial comprender e interactuar con un mundo virtual de una manera similar a una persona?
Ese es el reto que DeepMind plantea con SIMA, su Scalable Instructable Multiworld Agent.
A diferencia de los sistemas orientados a maximizar una puntuación, SIMA está diseñado como un agente generalista. Puede observar lo mismo que ve un jugador en pantalla, comprender instrucciones expresadas en lenguaje natural y actuar utilizando controles habituales de teclado y ratón.
Además, no necesita acceso a APIs ni al código fuente del videojuego.
SIMA 2, impulsado por Gemini, amplía este enfoque. El sistema funciona como un compañero interactivo capaz de razonar y mantener conversaciones en tiempo real. DeepMind indica que puede desenvolverse en distintos entornos tridimensionales de investigación y videojuegos como No Man's Sky, Valheim o Hydroneer.
Qué puede aportar un agente generalista a los videojuegos
Para los desarrolladores, un agente de estas características podría permitir utilizar capacidades de inteligencia artificial sobre juegos existentes sin necesidad de modificar su código.
DeepMind plantea varias posibilidades dentro del propio desarrollo y funcionamiento de los videojuegos:
- compañeros controlados por IA capaces de comprender el mundo del juego;
- personajes no jugadores que puedan adaptarse y responder de formas que no dependan exclusivamente de sistemas programados previamente;
- agentes capaces de participar en procesos de control de calidad durante el desarrollo;
- sistemas que se adapten después del lanzamiento cuando aparece nuevo contenido o los jugadores se comportan de maneras imprevistas.
La capacidad de generalización es especialmente relevante en este planteamiento. En lugar de tener que volver a programar un agente ante cada cambio, el objetivo sería que pudiera adaptarse a situaciones nuevas.
Para avanzar en esa dirección, DeepMind trabaja con distintos estudios y utiliza una cartera creciente de videojuegos como entornos de investigación.
Entre los estudios mencionados se encuentran Hello Games, Coffee Stain Studios, Foulball Hangover y Fenris Creations.
EVE Online como nuevo laboratorio de investigación
La colaboración con Fenris Creations representa una nueva etapa dentro de este recorrido.
Fenris Creations lleva más de dos décadas desarrollando el universo de EVE. EVE Online, lanzado en 2003, es una simulación espacial multijugador en la que miles de jugadores comparten un mismo universo persistente.
Ese mundo ha evolucionado durante más de 20 años y está determinado en buena medida por la actividad de sus propios jugadores. Su economía incorpora dinámicas de oferta y demanda y redes comerciales distribuidas por miles de sistemas estelares. Las alianzas, los conflictos y la diplomacia también forman parte de un entorno configurado por la interacción humana.
Para DeepMind, estas características convierten EVE Online en un entorno especialmente interesante para estudiar capacidades de inteligencia artificial que todavía plantean importantes desafíos.
La compañía destaca cuatro áreas principales:
- Aprendizaje continuo: adquirir nuevas capacidades sin olvidar las aprendidas anteriormente dentro de un mundo que cambia constantemente.
- Memoria: acumular y recuperar conocimiento durante periodos que superan ampliamente las ventanas de contexto actuales de los modelos.
- Planificación a largo plazo: razonar sobre acciones y consecuencias durante semanas, meses o incluso años.
- Dinámicas multiagente complejas: desenvolverse en situaciones que incluyen cooperación, competencia, negociación, economía y comportamiento social emergente.
Estas capacidades forman parte de una iniciativa más amplia de investigación orientada a desarrollar sistemas que aprendan continuamente a partir de la experiencia y cuya velocidad de aprendizaje pueda aumentar con el tiempo.
Tres entornos diferentes dentro del universo EVE
La colaboración no se limita a EVE Online. El programa de investigación también incluye EVE Vanguard y EVE Frontier, cada uno con características diferentes.
EVE Online proporciona un universo persistente a gran escala compartido por todos los jugadores.
EVE Vanguard, en cambio, se juega desde una perspectiva en primera persona y plantea situaciones de decisión táctica más rápidas dentro del mismo universo persistente. Para DeepMind, esta combinación permite estudiar agentes que operen en diferentes niveles de abstracción: desde decisiones tácticas inmediatas hasta estrategias que abarcan una galaxia completa.
EVE Frontier añade otra dimensión. Su arquitectura abierta y extensible y sus denominados “Smart Assemblies” permiten que las propias reglas del mundo puedan cambiar. Esto crea un entorno en el que los agentes tendrían que adaptarse también a mecánicas de juego completamente nuevas.
Una colaboración basada en prototipos y experimentación
DeepMind describe su trabajo con los estudios de videojuegos mediante una filosofía de “show, don't tell”: mostrar en lugar de limitarse a explicar.
Los equipos trabajan conjuntamente desarrollando prototipos jugables, compartiendo comentarios y explorando ideas con el objetivo de descubrir experiencias que no serían posibles sin inteligencia artificial.
La colaboración con Fenris Creations ya ha producido una aplicación dirigida a los jugadores. El sistema Aura Guidance utiliza Gemini para ofrecer conocimiento generado por la comunidad a partir de preguntas y respuestas reales de Rookie Help, con el objetivo de ayudar a los nuevos pilotos.
El programa de investigación a largo plazo, sin embargo, sigue un planteamiento progresivo.
Comienza en una instancia offline de EVE Online, separada de los jugadores reales y utilizada como entorno seguro de experimentación. Posteriormente, la investigación avanzará hacia EVE Frontier para estudiar cómo humanos y agentes pueden coexistir dentro de un mundo persistente y abierto.
Solo cuando las capacidades estén suficientemente maduras se consideraría su introducción en EVE Online y EVE Vanguard, con el objetivo declarado de enriquecer la experiencia de los jugadores.
Los juegos como espacio para desarrollar sistemas de IA más generales
La trayectoria que DeepMind describe desde Atari hasta EVE Online muestra una evolución clara en sus objetivos de investigación.
Los primeros sistemas aprendían a maximizar resultados dentro de juegos con reglas y objetivos definidos. Los trabajos actuales se orientan hacia agentes capaces de comprender entornos, seguir instrucciones, aprender continuamente, recordar información durante periodos prolongados y desenvolverse en mundos que cambian con el tiempo.
A medida que los videojuegos se hacen más complejos, persistentes y abiertos, también aumentan las exigencias para los sistemas de inteligencia artificial que deben operar dentro de ellos.
DeepMind mantiene como objetivo final utilizar la inteligencia artificial como un catalizador y no como un sustituto. Su ambición a largo plazo es explorar nuevas experiencias de juego, hacer los videojuegos más accesibles y personalizados y aplicar lo aprendido en estos entornos a problemas del mundo real y al avance de la investigación científica.
Fuente
Alexandre Moufarek y Adrian Bolton, “From Atari to EVE Online: Building on 15 Years of AI Research in Games”, Google DeepMind, fecha no indicada en el texto proporcionado.