Grabette ouvre la capture de données pour la manipulation robotique

Résumé

Hugging Face présente Grabette, un système ouvert et peu coûteux pour enregistrer des démonstrations de manipulation « à la main » et les transformer en jeux de données prêts pour l’apprentissage robotique.

Les faits

Hugging Face dévoile Grabette, présenté comme « un système ouvert, peu coûteux, pour enregistrer des données de manipulation » à partir de gestes humains, sans robot ni téléopération lourde. L’objectif est de « faire germer un vaste jeu de données de manipulation, ouvert et collaboratif » que aucun laboratoire ne pourrait constituer seul. Grabette s’inspire directement de l’Universal Manipulation Interface (UMI) de Stanford, un dispositif portatif avec caméra fisheye qui enregistre des démonstrations « dans la nature », reconstruit les trajectoires via SLAM et sert à entraîner des politiques visuomotrices. Le billet mentionne aussi des dispositifs fermés comme les poignées MEgo d’Agibot, DAS de Genrobot et le gant de capture de compétences de Sunday Robotics, tout en soulignant la volonté de rendre l’outil « sans effort » pour passer de « j’ai une tâche » à « j’ai un modèle entraîné ». Concrètement, Grabette est une poignée manuelle instrumentée, équipée de « deux caméras, chacune avec un rôle distinct » : une caméra fisheye bon marché pour fournir une vue riche en contexte de type caméra au poignet, et une caméra RGBD qui assure la reconstruction robuste de la trajectoire 6-DoF. Le coût des composants (BOM) est annoncé à « environ 490 € » pour Grabette, tandis que son pendant robotisé Gripette, un préhenseur motorisé avec caméra et deux servomoteurs pour fermer la boucle sur un bras réel ou simulé, affiche un coût d’« environ 120 € ». L’ensemble est entièrement ouvert : les fichiers de conception et de production matériels pour Grabette et Gripette, le service de capture sur Raspberry Pi, le pipeline de traitement exécutable localement ou en ligne via un Space Hugging Face, ainsi qu’une pile d’exemple pour l’aval associant entraînement LeRobot et évaluation OpenArm sont mis à disposition. Le système est « agnostique vis-à-vis du robot » : les démonstrations sont stockées sous forme de pose cartésienne 6-DoF en repère caméra, plus l’état du préhenseur, et produisent un jeu de données standard LeRobot sur le Hub, utilisable avec différents bras et méthodes d’apprentissage, à condition de monter le préhenseur Gripette sur le robot.

Pourquoi c’est important

Grabette s’attaque directement au goulet d’étranglement identifié par les auteurs : « le blocage n’est pas le modèle, c’est la donnée ». Alors que les architectures de politiques et la puissance GPU existent, il manque des volumes massifs de données de manipulation réelles, variées et diversifiées. En rendant la capture aussi simple que « filmer une vidéo », le projet veut transformer la démonstration en un geste accessible à toute une communauté. En articulant un matériel ouvert, un pipeline de traitement exécutable depuis le navigateur et une intégration native avec LeRobot et le Hub Hugging Face, Grabette et Gripette esquissent une chaîne complète, du geste humain à l’exécution robotique. Ce positionnement « robot-agnostique » et collaboratif pourrait accélérer la constitution d’un corpus partagé pour la manipulation, au-delà des dispositifs propriétaires existants, et servir de socle commun pour la recherche et les applications industrielles.

Questions fréquentes

Qu’est-ce que Grabette ?

Grabette est une poignée manuelle instrumentée, conçue pour enregistrer des démonstrations de manipulation et produire des jeux de données prêts pour l’apprentissage robotique.

Faut-il un robot pour utiliser Grabette ?

Non. Le projet insiste sur le fait que « vous n’avez pas besoin d’un robot pour collecter des données robot », seulement une main, un préhenseur et une caméra.

Quel est le coût annoncé du matériel Grabette et Gripette ?

Le coût des composants est donné à environ 490 € pour Grabette et environ 120 € pour Gripette, le préhenseur motorisé monté sur un bras robotique.

Grabette est-il open source ?

Oui. Le matériel, le logiciel de capture sur Raspberry Pi, le pipeline de traitement et la pile d’exemple LeRobot/OpenArm sont annoncés comme entièrement open source.

Grabette est-il lié à un type de bras robotique particulier ?

Non. Le système est décrit comme « agnostique vis-à-vis du robot », les données étant stockées en pose 6-DoF locale caméra plus état du préhenseur.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.