Reka AI dévoile Rho-1, son IA pilote robots et génère vidéo

Résumé

Reka AI dévoile Rho-1, un modèle de 19 milliards de paramètres capable de traiter texte, images, vidéo et commandes robotiques dans un réseau unique.

Les faits

Reka AI a publié une préversion de recherche de Rho-1, un modèle omnidirectionnel de 19 milliards de paramètres capable de traiter et de générer du texte, des images, de la vidéo et des actions de contrôle robotique au sein d’un seul réseau neuronal. Contrairement aux systèmes qui répartissent les tâches entre des modèles spécialisés, Rho-1 traite toutes les modalités sous forme de jetons dans une fenêtre de contexte partagée, sans appels à des outils ni recours à des modèles externes. Le modèle peut générer une vidéo en continu en temps réel et répondre à de nouvelles instructions sans redémarrer. Les mêmes poids qui prédisent les images captées par une caméra commandent également les mouvements d’un robot. Pour contourner la rareté des données d’entraînement robotiques, Reka AI a construit un modèle de dynamique inverse capable d’extraire des signaux de contrôle à partir de vidéos ordinaires diffusées sur Internet. Rho-1 a été entraîné sur 320 GPU H100 pendant environ trois mois. Reka AI avait déjà lancé Reka Core en avril 2024, un modèle de langage multimodal présenté comme concurrent de GPT-4, Claude 3 et Gemini Ultra sur des tests de référence.

Pourquoi c’est important

Rho-1 illustre une orientation de la recherche en intelligence artificielle vers des modèles capables de réunir plusieurs modalités dans une même architecture. Le traitement commun du texte, des images, de la vidéo et des actions robotiques vise à réduire la dépendance à des systèmes spécialisés et aux appels entre modèles. L’approche associe perception et action : les paramètres utilisés pour prévoir des images de caméra servent aussi à piloter les mouvements d’un robot. L’utilisation de vidéos ordinaires pour extraire des signaux de contrôle apporte une réponse au manque de données spécifiquement produites par des robots.

Questions fréquentes

Qu’est-ce que Rho-1 ?

Rho-1 est un modèle omnidirectionnel de Reka AI comptant 19 milliards de paramètres et capable de traiter et générer du texte, des images, de la vidéo et des actions robotiques.

Comment Rho-1 traite-t-il les différentes modalités ?

Rho-1 représente toutes les modalités sous forme de jetons dans une fenêtre de contexte partagée, sans appels à des outils ni modèles externes.

Combien de temps a duré l’entraînement de Rho-1 ?

Rho-1 a été entraîné sur 320 GPU H100 pendant environ trois mois.

Comment Reka AI compense-t-elle le manque de données robotiques ?

Reka AI a construit un modèle de dynamique inverse qui extrait des signaux de contrôle à partir de vidéos ordinaires diffusées sur Internet.

Source

Auteur

Rédaction spécialisée dans la veille et l’analyse de l’actualité de l’intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.