Runway lance la vidéo IA en temps réel contrôlable

Résumé

Runway dévoile des travaux de recherche pour transformer la génération vidéo par IA en flux en direct, basé sur son modèle GWM-1, que l’utilisateur pilote en temps réel.

Les faits

Runway présente un nouveau cap pour la vidéo générée par IA : plutôt que de produire des clips finis après un temps d’attente, la société veut permettre de « streamer » la vidéo au fur et à mesure que l’utilisateur la décrit. L’objectif affiché est de réduire au minimum le délai avant la première image, puis de poursuivre la génération image par image en temps réel. Cette approche s’appuie sur GWM-1, présenté par Runway comme son premier « General World Model », introduit en décembre 2025 et construit sur le modèle vidéo Gen-4.5. GWM-1 génère la vidéo cadre par cadre et peut être piloté par des mouvements de caméra, des commandes de robots ou des signaux audio, ce qui ouvre des perspectives au-delà des seuls outils créatifs, notamment pour la robotique et la conduite autonome. Runway estime que la génération en temps réel réduit l’écart entre une idée et sa mise en œuvre. Avec un retour instantané, les utilisateurs passeraient l’essentiel de leur temps à diriger activement la vidéo plutôt qu’à attendre des rendus, tout en bénéficiant de coûts plus faibles : des modèles plus rapides consomment moins de temps GPU et deviennent ainsi plus efficaces économiquement. Pour rendre cette approche viable, Runway s’attaque à un problème central des modèles vidéo dérivés des modèles de langage : chaque image dépend de la précédente, ce qui laisse la place à une accumulation d’erreurs. La société explique entraîner son modèle sur ses propres sorties, y compris dégradées, afin de lui apprendre à corriger ses dérives au lieu de les amplifier, une méthodologie que la startup Decart a également adoptée pour son modèle en temps réel MirageLSD. Runway cite aussi le modèle de monde Genie 3 de Google Deepmind, qui parvient à maintenir des univers interactifs cohérents pendant plusieurs minutes à 24 images par seconde en 720p, comme autre illustration de cette nouvelle génération de modèles de monde. Selon Runway, la génération en temps réel déplace enfin une partie de la charge de calcul du temps d’entraînement vers le temps d’usage : le modèle doit produire chaque image assez vite pour suivre la lecture, tout en tournant sur des ressources matérielles partagées entre plusieurs sessions simultanées.

Pourquoi c’est important

Avec cette recherche sur la vidéo en flux continu, Runway cherche à modifier en profondeur la façon dont les créateurs, mais aussi les systèmes interactifs, utilisent la vidéo générée par IA. En passant d’une logique de clips statiques à une logique de flux piloté en temps réel, la société met l’accent sur l’itération continue, la direction créative instantanée et la réduction des coûts de production pour des vidéos de qualité équivalente. Au‑delà de la création de contenus, Runway projette cette approche dans des domaines comme la robotique et la conduite autonome, où la capacité d’un modèle à produire et ajuster en continu des représentations visuelles cohérentes est stratégique. L’idée de modèles de monde capables de se corriger eux‑mêmes, comme GWM-1 et les systèmes cités MirageLSD et Genie 3, annonce une nouvelle génération d’architectures IA pensées pour des environnements dynamiques et interactifs, dans lesquels la latence, la cohérence temporelle et l’efficience GPU deviennent des critères déterminants.

Questions fréquentes

Que veut proposer Runway avec la vidéo IA en temps réel ?

Runway veut permettre de streamer des vidéos générées par IA au fil des prompts, plutôt que d’attendre des clips finis après chaque requête.

Sur quel modèle repose cette génération vidéo en flux continu ?

Runway s’appuie sur GWM-1, son premier « General World Model » construit sur Gen-4.5 et générant la vidéo cadre par cadre.

Quels types de contrôles GWM-1 peut-il accepter ?

GWM-1 accepte des mouvements de caméra, des commandes de robots ou des signaux audio comme leviers de contrôle de la vidéo.

Pourquoi Runway insiste sur la réduction du temps GPU ?

La société estime que des modèles plus rapides réduisent le temps GPU par sortie et élargissent le champ des applications économiquement viables.

Comment Runway traite le problème des erreurs qui s’accumulent dans la vidéo ?

Runway entraîne son modèle sur ses propres sorties, y compris dégradées, pour lui apprendre à corriger ses dérives plutôt qu’à les amplifier.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.