Auteurs:  (1) Ruohan Zhang, Département d'informatique, Université de Stanford, Institute for Human-Centered AI (HAI), Université de Stanford et contribution égale ; zharu@stanford.edu ;  (2) Sharon Lee, Département d'informatique, Université de Stanford et contribution égale ; zharu@stanford.edu ;  (3) Minjune Hwang, Département d'informatique, Université de Stanford et contribution égale ; zharu@stanford.edu ;  (4) Ayano Hiranaka, Département de génie mécanique, Université de Stanford et contribution égale ; zharu@stanford.edu ;  (5) Chen Wang, Département d'informatique, Université de Stanford ;  (6) Wensi Ai, Département d'informatique, Université de Stanford ;  (7) Jin Jie Ryan Tan, Département d'informatique, Université de Stanford ;  (8) Shreya Gupta, Département d'informatique, Université de Stanford ;  (9) Yilun Hao, Département d'informatique, Université de Stanford ;  (10) Ruohan Gao, Département d'informatique, Université de Stanford ;  (11) Anthony Norcia, Département de psychologie, Université de Stanford  (12) Li Fei-Fei, 1 Département d'informatique, Université de Stanford et Institut pour l'IA centrée sur l'humain (HAI), Université de Stanford ;  (13) Jiajun Wu, Département d'informatique, Université de Stanford et Institut pour l'IA centrée sur l'humain (HAI), Université de Stanford.  Tableau des liens   Résumé et introduction   Interface cerveau-robot (BRI) : contexte   Le système NOIR   Expériences   Résultats   Conclusion, limites et préoccupations éthiques   Remerciements et références   Annexe 1 : Questions et réponses sur NOIR   Annexe 2 : Comparaison entre différents appareils d'enregistrement cérébral   Annexe 3 : Configuration du système   Annexe 4 : Définitions des tâches   Annexe 5 : Procédure expérimentale   Annexe 6 : Détails des algorithmes de décodage   Annexe 7 : Détails de l'algorithme d'apprentissage du robot  Abstrait  Nous présentons les robots intelligents actionnés par des signaux neuronaux (NOIR), un système d'interface cerveau-robot intelligent à usage général qui permet aux humains de commander aux robots d'effectuer des activités quotidiennes grâce à des signaux cérébraux. Grâce à cette interface, les humains communiquent leurs objets d'intérêt et leurs actions aux robots par électroencéphalographie (EEG). Notre nouveau système démontre son succès dans un large éventail de 20 activités ménagères quotidiennes difficiles, notamment la cuisine, le ménage, les soins personnels et le divertissement. L'efficacité du système est améliorée par son intégration synergique d'algorithmes d'apprentissage robotique, permettant à NOIR de s'adapter aux utilisateurs individuels et de prédire leurs intentions. Notre travail améliore la façon dont les humains interagissent avec les robots, en remplaçant les canaux d’interaction traditionnels par une communication neuronale directe. Site Internet du projet : https://noir-corl.github.io/    Interface cerveau-robot ; Interaction homme-robot  Mots-clés :  1. Introduction  Les interfaces cerveau-robot (BRI) constituent une réussite majeure dans le domaine de l’art, de la science et de l’ingénierie. Cette aspiration, qui figure en bonne place dans la fiction spéculative, les œuvres d’art innovantes et les études scientifiques révolutionnaires, implique la création de systèmes robotiques fonctionnant en parfaite synergie avec les humains. Un élément essentiel de ces systèmes est leur capacité à communiquer avec les humains. Dans la collaboration homme-robot et l'apprentissage des robots, les humains communiquent leurs intentions par des actions [1], des pressions sur des boutons [2, 3], un regard [4-7], une expression faciale [8], un langage [9, 10], etc. [11 , 12]. Cependant, la perspective d’une communication directe via des signaux neuronaux s’avère être le moyen le plus passionnant mais le plus stimulant.  Nous présentons les robots intelligents actionnés par des signaux neuronaux (NOIR), un système BRI intelligent à usage général avec électroencéphalographie (EEG) non invasive. Le principe principal de ce système est l'autonomie hiérarchique partagée, dans laquelle les humains définissent des objectifs de haut niveau tandis que le robot actualise les objectifs grâce à l'exécution de commandes motrices de bas niveau. Tirant parti des progrès des neurosciences, de la robotique et de l’apprentissage automatique, notre système se distingue en allant au-delà des tentatives précédentes pour apporter les contributions suivantes.  Premièrement, NOIR est polyvalent par sa diversité de tâches et son accessibilité. Nous montrons que les humains peuvent accomplir un large éventail de 20 activités quotidiennes, contrairement aux systèmes BRI existants qui sont généralement spécialisés dans une ou quelques tâches ou existent uniquement en simulation [13-22]. De plus, le système peut être utilisé par la population générale, avec un minimum de formation.  Deuxièmement, le « I » dans NOIR signifie que nos robots sont intelligents et adaptatifs. Les robots sont équipés d’une bibliothèque de compétences diverses, leur permettant d’effectuer des actions de bas niveau sans supervision humaine dense. Les objectifs comportementaux humains peuvent naturellement être communiqués, interprétés et exécutés par les robots dotés de compétences primitives paramétrées, telles que Pick(obj-A) ou MoveTo(x,y). De plus, nos robots sont capables d’apprendre les objectifs visés par les humains au cours de leur collaboration. Nous montrons qu'en tirant parti des progrès récents dans les modèles de fondation, nous pouvons rendre un tel système plus adaptatif avec des données limitées. Nous montrons que cela peut augmenter considérablement l’efficacité du système.  Les principales contributions techniques de NOIR incluent un pipeline modulaire de décodage de signaux neuronaux pour les intentions humaines. Décoder les objectifs humains visés (par exemple, « prendre la tasse par la poignée ») à partir de signaux neuronaux est extrêmement difficile. Nous décomposons l'intention humaine en trois composantes : quel objet manipuler, comment interagir avec l'objet et où interagir, et montrons que de tels signaux peuvent être décodés à partir de différents types de données neuronales. Ces signaux décomposés correspondent naturellement à des compétences robotiques paramétrées et peuvent être communiqués efficacement aux robots.  Au cours de 20 activités domestiques impliquant des manipulations sur table ou sur mobile, trois sujets humains ont utilisé avec succès notre système pour accomplir ces tâches avec leurs signaux cérébraux. Nous démontrons qu’un robot apprenant en quelques étapes auprès des humains peut améliorer considérablement l’efficacité de notre système. Cette approche de construction de systèmes robotiques intelligents, qui utilisent les signaux du cerveau humain à des fins de collaboration, recèle un immense potentiel pour le développement de technologies d'assistance essentielles pour les personnes handicapées ou non et pour améliorer la qualité de leur vie.  Cet article est   sous licence CC 4.0. disponible sur arxiv

EScholar Technologies

EScholar

Cet audio est produit dans la langue originale de l'histoire !

Trop long; Pour lire

Boost your HackerNoon story @ $159.99! 🚀

NOIR : robots intelligents actionnés par des signaux neuronaux pour les activités quotidiennes

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Le modèle Bitcoin UTXO, alimentant un écosystème unique

Guide de l'architecte pour créer une architecture de référence pour un datalake IA/ML

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Valhalla de Floki se joint en tant que sponsor associé de la tournée indienne au Sri Lanka

Le modèle Bitcoin UTXO, alimentant un écosystème unique

Guide de l'architecte pour créer une architecture de référence pour un datalake IA/ML

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Valhalla de Floki se joint en tant que sponsor associé de la tournée indienne au Sri Lanka

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps