NVIDIA lance un simulateur chirurgical en temps réel

Résumé

NVIDIA présente Cosmos-H-Dreams, un simulateur génératif conditionné par les actions, capable de tourner en temps réel sur un seul GPU RTX PRO 6000 et de boucler avec un contrôleur chirurgical.

Les faits

NVIDIA présente Cosmos-H-Dreams comme « un simulateur génératif, conditionné par les actions, en temps réel pour la robotique chirurgicale ». Le système distille les capacités de Cosmos-H-Surgical-Simulator dans un modèle étudiant causal à quelques étapes, puis le sert via FlashDreams, la bibliothèque d’inférence streaming accélérée de NVIDIA. Selon le texte, le modèle fonctionne sur un seul GPU NVIDIA RTX PRO 6000 et produit un environnement interactif qu’une personne ou une politique apprise peut contrôler en boucle fermée. L’article précise aussi que NVIDIA a démontré Cosmos-H-Dreams avec CMR Surgical et Cambridge Consultants en l’intégrant au contrôleur chirurgical Versius, afin de permettre un fonctionnement en temps réel sur la plateforme Versius. Le contexte technique repose sur Cosmos-H-Surgical-Simulator, décrit comme un modèle fondationnel du monde conditionné par les actions, construit sur NVIDIA Cosmos-Predict2.5-2B et post-entraîné sur l’ensemble de données Open-H-Embodiment. À partir d’un cadre chirurgical initial et d’une trajectoire robotique future, il génère une vidéo des conséquences visuelles probables de ces actions. NVIDIA explique que Cosmos-H-Dreams adapte ce socle au régime temps réel pour la suture sur table avec da Vinci Research Kit (dVRK). Le texte indique que le modèle publié reçoit une image RGB initiale et un flux en direct de cinématique robotique, puis produit le bloc d’images suivant avant de passer au bloc d’actions suivant.

Pourquoi c’est important

Cette annonce montre un déplacement important de la simulation chirurgicale : NVIDIA ne se limite plus à des rollouts hors ligne, mais vise une interaction en boucle fermée utilisable en direct. Pour la robotique chirurgicale, cela ouvre un cadre d’évaluation et d’entraînement plus proche de l’usage opérationnel, sans supposer une exécution physique répétée à chaque essai. L’intérêt stratégique tient aussi à la combinaison entre distillation, inférence streaming et intégration matérielle sur un seul GPU RTX PRO 6000. NVIDIA positionne ainsi Cosmos-H-Dreams comme une brique d’infrastructure pour des environnements chirurgicaux génératifs, tout en l’ancrant dans des plateformes et partenaires précis comme dVRK, Versius, CMR Surgical et Cambridge Consultants.

Questions fréquentes

Qu’est-ce que Cosmos-H-Dreams ?

C’est un simulateur génératif en temps réel, conditionné par les actions, conçu pour la robotique chirurgicale.

Sur quel matériel fonctionne-t-il ?

Selon le texte, il fonctionne sur un seul GPU NVIDIA RTX PRO 6000.

À quoi sert FlashDreams ?

FlashDreams est la bibliothèque d’inférence streaming accélérée qui sert le modèle en temps réel.

Avec quels systèmes chirurgicaux l’intégration est-elle mentionnée ?

Le texte cite da Vinci Research Kit (dVRK) et le contrôleur chirurgical Versius.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.