NVIDIA ha presentado Cosmos3-H-Dreams, un sistema de inteligencia artificial generativa capaz de crear simulaciones visuales interactivas de procedimientos quirúrgicos. El modelo reproduce escenas de cirugía a partir de grabaciones clínicas y responde a los movimientos de instrumentos controlados en tiempo real.
La tecnología se ha desarrollado utilizando datos de operaciones de extracción de vesícula biliar realizadas con la plataforma robótica Versius de CMR Surgical. Su objetivo es generar entornos quirúrgicos en los que los movimientos de los instrumentos produzcan respuestas visuales coherentes de los tejidos y las estructuras anatómicas.
El proyecto representa un avance en la simulación generativa aplicada a la robótica quirúrgica, aunque NVIDIA subraya que se trata de una herramienta de investigación y no de un sistema validado para la atención de pacientes.
De las simulaciones experimentales a los entornos quirúrgicos
Cosmos3-H-Dreams parte de un trabajo anterior de NVIDIA, Cosmos-H-Dreams, que permitía simular tareas de sutura robótica sobre una mesa de laboratorio.
Aquella primera versión utilizaba vídeos sincronizados con información sobre los movimientos del robot para aprender cómo evolucionaba visualmente una escena. En lugar de representar explícitamente toda su geometría y sus interacciones físicas mediante cálculos numéricos, el sistema aprendía esas relaciones a partir de los datos.
La nueva versión traslada este enfoque a un entorno considerablemente más complejo: el interior del cuerpo humano durante una intervención quirúrgica.
En estas condiciones, un pequeño movimiento de un instrumento puede provocar diferentes cambios en la escena. Los tejidos se estiran, aparecen reflejos, algunas estructuras quedan ocultas y el humo puede modificar la visibilidad.
El desafío consiste en reproducir estos efectos sin perder la coherencia de la anatomía ni la posición de los instrumentos a medida que avanza la simulación.
Cómo funciona Cosmos3-H-Dreams
El sistema combina un modelo generativo de vídeo con información sobre los movimientos de los instrumentos quirúrgicos.
A partir de una imagen inicial y una secuencia de acciones, genera nuevos fotogramas que representan cómo debería evolucionar la escena.
La simulación tiene en cuenta distintos controles de los instrumentos, como su posición, orientación y apertura o cierre de las pinzas.
De esta forma, el usuario no se limita a observar un vídeo previamente grabado. Puede introducir movimientos que condicionan la evolución visual del entorno.
La diferencia fundamental es que Cosmos3-H-Dreams genera escenas quirúrgicas condicionadas por las acciones de los instrumentos, en lugar de reproducir una secuencia visual fija.
Para desarrollar esta capacidad, NVIDIA ha utilizado grabaciones clínicas sincronizadas con datos cinemáticos de la plataforma Versius.
Un modelo de 16.000 millones de parámetros
Cosmos3-H-Dreams se basa en Cosmos3-H-Embodied-Nano, un modelo de 16.000 millones de parámetros preentrenado con el conjunto de datos Open-H-Embodiment.
Posteriormente, NVIDIA lo ha especializado utilizando vídeos de colecistectomías, intervenciones quirúrgicas destinadas a extraer la vesícula biliar.
El entrenamiento se centra en escenas en las que intervienen dos instrumentos: una pinza Cadiere situada a la izquierda y un gancho monopolar a la derecha.
El sistema utiliza 28 dimensiones de acción para representar los movimientos y controles de ambos brazos robóticos.
Entre sus características técnicas destacan:
|
Característica |
Descripción |
|---|---|
|
Modelo base |
Cosmos3-H-Embodied-Nano |
|
Parámetros |
16.000 millones |
|
Datos de especialización |
Vídeos y movimientos robóticos de colecistectomías |
|
Instrumentos principales |
Pinza Cadiere y gancho monopolar |
|
Dimensiones de acción |
28 |
|
Resolución de entrenamiento |
832 × 480 píxeles |
|
Frecuencia de muestreo de acciones |
10 Hz |
|
Hardware de ejecución interactiva |
Una GPU NVIDIA RTX PRO 6000 |
La frecuencia de 10 Hz corresponde al muestreo de los datos de entrenamiento y no debe confundirse con la velocidad de generación durante la ejecución.
Generación de vídeo en tiempo real mediante FlashDreams
Uno de los retos de la simulación generativa es conseguir que el sistema responda con suficiente rapidez a los movimientos del usuario.
Para abordar este problema, NVIDIA utiliza un proceso de entrenamiento en el que un modelo inicial, denominado teacher, transfiere sus capacidades a modelos más eficientes, conocidos como students.
El modelo inicial aprende a generar secuencias temporales y posteriormente se adapta para producir bloques de vídeo a medida que recibe nuevas acciones.
Cosmos3-H-Dreams incorpora dos versiones de estos modelos, diferenciadas por el número de pasos de eliminación de ruido que utilizan durante la generación.
- Modelo de cuatro pasos: prioriza una mayor calidad visual.
- Modelo de dos pasos: reduce el tiempo de inferencia, aunque con una pérdida de calidad visual.
Esta distinción permite explorar el equilibrio entre velocidad de generación y fidelidad de las imágenes.
Además, NVIDIA integra FlashDreams, una biblioteca diseñada para acelerar la generación continua de vídeo.
El sistema también utiliza mecanismos para gestionar la información acumulada durante secuencias largas y reducir los problemas de consistencia que pueden aparecer cuando un modelo genera nuevos fotogramas a partir de sus propias salidas.
Simular movimientos que no aparecen en los datos de entrenamiento
Una capacidad especialmente relevante de Cosmos3-H-Dreams es la posibilidad de explorar trayectorias diferentes dentro de una misma escena quirúrgica.
NVIDIA muestra demostraciones en las que dos simulaciones comienzan con una imagen idéntica, pero evolucionan de manera distinta al recibir secuencias diferentes de movimientos.
Las acciones se registran mediante un dispositivo de realidad virtual y se utilizan para controlar los instrumentos dentro de la escena generada.
Estas pruebas permiten observar si los instrumentos siguen las órdenes recibidas, si los tejidos responden de manera coherente y si la apariencia de las estructuras anatómicas se mantiene estable.
No obstante, una simulación visualmente convincente no garantiza que el comportamiento biomecánico sea exacto.
La fidelidad de las imágenes constituye un punto de partida para la validación, pero no sustituye la comprobación de las propiedades físicas y anatómicas del entorno simulado.
Un sistema adaptable a otros datos y controladores
NVIDIA ha publicado los modelos de dos y cuatro pasos, junto con código y documentación para facilitar su utilización en investigación.
Cosmos3-H-Dreams también puede adaptarse a otros conjuntos de datos y sistemas robóticos, siempre que se disponga de vídeos sincronizados con representaciones compatibles de las acciones.
La documentación incluye instrucciones para preparar los datos, especializar el modelo inicial y entrenar versiones optimizadas para la generación interactiva.
Esta posibilidad permite investigar cómo trasladar el enfoque generativo a otros entornos y configuraciones de control.
Sin embargo, la adaptación requiere respetar las convenciones y los procedimientos de normalización utilizados durante el entrenamiento.
Los próximos desafíos de la simulación quirúrgica con IA
NVIDIA identifica varias líneas de investigación para continuar desarrollando Cosmos3-H-Dreams.
Una de ellas consiste en ampliar la simulación para representar todas las fases de una colecistectomía, manteniendo la coherencia visual y temporal durante procedimientos más extensos.
Otra dirección es combinar la simulación generativa con métodos numéricos tradicionales. El objetivo sería complementar el realismo visual aprendido mediante inteligencia artificial con modelos explícitos de geometría, contacto y mecánica de tejidos.
La compañía también plantea incorporar evaluaciones realizadas por cirujanos para comprobar la precisión anatómica, el comportamiento de los instrumentos y la respuesta de los tejidos.
Entre las líneas de trabajo previstas figuran asimismo la incorporación de más instrumentos y el desarrollo de sistemas capaces de aprender tareas quirúrgicas definidas mediante interacción con el simulador.
Todas estas posibilidades forman parte de la agenda de investigación del proyecto. No representan capacidades clínicas ya demostradas.
Qué aporta Cosmos3-H-Dreams a la investigación en robótica quirúrgica
Cosmos3-H-Dreams muestra cómo los modelos generativos pueden utilizarse para construir entornos interactivos a partir de grabaciones del mundo real y datos de movimiento.
Su aportación no se limita a generar imágenes de apariencia realista. El sistema busca mantener una relación coherente entre las acciones de los instrumentos y la evolución de la escena quirúrgica.
El proyecto combina modelos fundacionales, aprendizaje a partir de datos clínicos, técnicas de destilación y generación acelerada de vídeo para investigar nuevas formas de simulación.
El principal límite sigue siendo la validación: reproducir visualmente una intervención no equivale a demostrar que sus propiedades físicas y anatómicas sean suficientemente precisas para aplicaciones clínicas.
Por ahora, Cosmos3-H-Dreams proporciona un entorno de investigación para estudiar la interacción quirúrgica mediante simulaciones generativas cada vez más realistas.
Fuente
Lukas Zbinden, Javier Gamazo, Nigel Nelson, Mostafa Toloui y Sean Huver, “NVIDIA Cosmos3-H-Dreams: Bringing Clinical Surgery to Life Through Generative Simulation”, NVIDIA, publicado en Hugging Face, 20 de octubre de 2026.