Étude révolutionnaire d'Apple : Des robots humanoïdes apprennent en observant nos gestes grâce à la Vision Pro
Une nouvelle étude menée par Apple en collaboration avec plusieurs universités prestigieuses propose une méthode innovante pour entraîner des robots humanoïdes à reproduire des actions humaines en analysant des vidéos à la première personne. Cette approche pourrait considérablement accélérer et réduire les coûts de formation des robots.
L'étude intitulée « Humanoid Policy ∼ Human Policy » est le fruit d'une collaboration entre Apple, le MIT, Carnegie Mellon, l'Université de Washington et UC San Diego. Les chercheurs ont collecté plus de 25 000 démonstrations humaines et 1 500 démonstrations robotiques pour créer un ensemble de données appelé PH2D.
Pour capturer les mouvements humains, l'équipe a développé une application Apple Vision Pro exploitant la caméra inférieure gauche du casque et la technologie ARKit pour suivre les mouvements 3D de la tête et des mains. Ils ont également créé un support imprimé en 3D pour adapter une caméra stéréo ZED Mini à d'autres casques comme le Meta Quest 3, offrant une solution plus économique.
La méthode traditionnelle de collecte de données via téléopération robotique s'avère lente, coûteuse et difficile à mettre à l'échelle. En revanche, cette nouvelle approche permet d'enregistrer des démonstrations de haute qualité en quelques secondes seulement, avec l'avantage supplémentaire que les humains effectuent naturellement des mouvements plus variés que les robots.
Un détail technique intéressant : les chercheurs ont dû ralentir les démonstrations humaines d'un facteur quatre pendant l'entraînement, car les robots actuels ne peuvent pas suivre la vitesse naturelle des mouvements humains.
Le cœur de l'étude repose sur le Human Action Transformer (HAT), un modèle unique entraîné simultanément sur des données humaines et robotiques. Contrairement aux approches traditionnelles qui séparent ces sources, HAT apprend une politique unifiée qui s'adapte aux deux types de corps, améliorant ainsi la flexibilité et l'efficacité du système.
Les tests ont montré que cette méthode permet aux robots de mieux gérer des tâches complexes, y compris celles qu'ils n'ont jamais rencontrées auparavant. Cette généralisation accrue ouvre des perspectives prometteuses pour le développement de robots humanoïdes polyvalents.
Cette recherche marque une étape importante vers la création de robots domestiques capables d'apprendre en observant simplement les humains. Reste à savoir si cette perspective vous enthousiasme, vous inquiète ou vous laisse indifférent - un débat que les auteurs invitent à poursuivre dans les commentaires.
Marcus Mendes, journaliste tech brésilien spécialisé sur Apple depuis les années 2000, rapporte que cette étude pourrait révolutionner la manière dont nous concevons l'apprentissage des robots. Les implications potentielles vont bien au-delà du simple cadre domestique, touchant à de nombreux secteurs industriels.
