Encord débloque l'IA physique avec les ondes cérébrales

Résumé

Encord expérimente des casques mesurant les ondes cérébrales et des capteurs musculaires pour générer des données d’entraînement ultra-denses pour robots humanoïdes et de logistique.

Les faits

Dans un entrepôt de San Leandro, en Californie, Encord transforme un jeu de Jenga en laboratoire pour l’IA physique. L’entreprise, spécialisée dans les outils de données pour entraîner des modèles d’IA, y fait travailler ses « pilotes », nom donné à ses entraîneurs robotiques, équipés de casques avec caméra et capteurs cérébraux pendant qu’ils retirent des blocs de bois d’une tour vacillante. Le casque utilisé par le pilote Andrew Ceja a été conçu par Zander Labs, une startup de neurosciences allemande. Ce dispositif mesure l’activité cérébrale afin de déduire des états mentaux comme l’erreur, l’intention ou la surprise, dans l’espoir de créer un jeu de données plus utile pour entraîner les modèles. Encord présente cette collaboration avec Zander comme un test : l’objectif est de constituer un premier jeu de données annoté par ondes cérébrales, de le faire passer dans les modèles robotiques de ses clients, puis d’évaluer si la performance s’améliore avant toute montée en charge. Pour Vineeth Velmurugan, responsable de l’apprentissage robotique chez Encord, cette approche représente « l’avant-garde » de la lutte contre le goulot d’étranglement des données en robotique. Encord est initialement née pour aider les développeurs d’applications de vision par ordinateur à annoter des données et à évaluer leurs modèles. Mais face à des clients qui appliquent l’apprentissage de bout en bout à des tâches de manipulation robotique, la direction a conclu qu’elle devait produire elle-même les données d’entraînement : « les données n’existent tout simplement pas », affirme Velmurugan. Pour alimenter ces modèles, les concepteurs de cerveaux robotiques se tournent désormais vers deux grandes sources : des vidéos « égocentriques » captées par des travailleurs portant des caméras, souvent complétées par plusieurs angles de prise de vue et d’autres métriques, et des données issues de robots opérés à distance. Encord combine ces approches, collectant des vidéos égocentriques dans plusieurs usines à travers le monde et utilisant son site de San Leandro pour expérimenter de nouvelles modalités comme les ondes cérébrales ou constituer des jeux de données ciblés pour le réglage fin de compétences spécifiques.

Pourquoi c’est important

La démarche d’Encord illustre un changement de paradigme dans l’IA physique : la principale contrainte ne serait plus l’architecture des modèles, mais la rareté de données physiques de haute qualité. En liant vidéos, états mentaux inférés par les ondes cérébrales et capteurs musculaires, l’entreprise entreprend de « fabriquer » des jeux de données riches et coûteux, plutôt que de se contenter de collecter des traces du monde réel. Cette stratégie met en lumière un enjeu économique majeur : à la différence du texte massivement aspiré sur le web pour les LLM, les données nécessaires aux robots doivent être produites en environnements contrôlés, avec des annotations fines comme « main droite serre le boulon ». Velmurugan estime que ce type d’annotation dense vaut cent fois plus que des « données égo brouillonnes » pour entraîner des tâches spécifiques, tout en coûtant vingt fois plus à générer, ce qui redessine les modèles économiques de l’IA appliquée aux gestes et aux manipulations.

Questions fréquentes

Que teste Encord avec les ondes cérébrales ?

Encord teste des casques de Zander Labs qui mesurent l’activité cérébrale pour inférer des états mentaux et enrichir les données d’entraînement robotique.

Pourquoi Encord fabrique ses propres données ?

Selon Vineeth Velmurugan, « les données n’existent tout simplement pas » pour certaines tâches de manipulation, ce qui oblige Encord à les produire elle-même.

Qu’est-ce que la vidéo « égocentrique » utilisée par Encord ?

Il s’agit de vidéos captées par des travailleurs portant des caméras, souvent complétées par d’autres angles et métriques pour entraîner les robots.

Quel est le rôle de Zander Labs dans ce projet ?

Zander Labs fournit les casques qui mesurent les ondes cérébrales, afin de déduire des états comme l’erreur, l’intention ou la surprise pour les modèles.

Pourquoi les annotations d’Encord sont-elles jugées précieuses ?

Velmurugan estime que des descriptions physiques détaillées comme « main droite serre le boulon » valent cent fois plus que des données vidéo brutes.

Source

Auteur

Rédaction spécialisée dans la veille et l'analyse de l'actualité de l'intelligence artificielle, des puces IA, des robots, des agents IA et de la recherche.