NOIR : robots intelligents actionnés par des signaux neuronaux pour les activités quotidiennes

Tableau des liens

Résumé et introduction

Interface cerveau-robot (BRI) : contexte

Le système NOIR

Expériences

Résultats

Conclusion, limites et préoccupations éthiques

Remerciements et références

Annexe 1 : Questions et réponses sur NOIR

Annexe 2 : Comparaison entre différents appareils d'enregistrement cérébral

Annexe 3 : Configuration du système

Annexe 4 : Définitions des tâches

Annexe 5 : Procédure expérimentale

Annexe 6 : Détails des algorithmes de décodage

Annexe 7 : Détails de l'algorithme d'apprentissage du robot

Abstrait

Nous présentons les robots intelligents actionnés par des signaux neuronaux (NOIR), un système d'interface cerveau-robot intelligent à usage général qui permet aux humains de commander aux robots d'effectuer des activités quotidiennes grâce à des signaux cérébraux. Grâce à cette interface, les humains communiquent leurs objets d'intérêt et leurs actions aux robots par électroencéphalographie (EEG). Notre nouveau système démontre son succès dans un large éventail de 20 activités ménagères quotidiennes difficiles, notamment la cuisine, le ménage, les soins personnels et le divertissement. L'efficacité du système est améliorée par son intégration synergique d'algorithmes d'apprentissage robotique, permettant à NOIR de s'adapter aux utilisateurs individuels et de prédire leurs intentions. Notre travail améliore la façon dont les humains interagissent avec les robots, en remplaçant les canaux d’interaction traditionnels par une communication neuronale directe. Site Internet du projet : https://noir-corl.github.io/

Mots-clés : Interface cerveau-robot ; Interaction homme-robot

1. Introduction

Les interfaces cerveau-robot (BRI) constituent une réussite majeure dans le domaine de l’art, de la science et de l’ingénierie. Cette aspiration, qui figure en bonne place dans la fiction spéculative, les œuvres d’art innovantes et les études scientifiques révolutionnaires, implique la création de systèmes robotiques fonctionnant en parfaite synergie avec les humains. Un élément essentiel de ces systèmes est leur capacité à communiquer avec les humains. Dans la collaboration homme-robot et l'apprentissage des robots, les humains communiquent leurs intentions par des actions [1], des pressions sur des boutons [2, 3], un regard [4-7], une expression faciale [8], un langage [9, 10], etc. [11 , 12]. Cependant, la perspective d’une communication directe via des signaux neuronaux s’avère être le moyen le plus passionnant mais le plus stimulant.

Nous présentons les robots intelligents actionnés par des signaux neuronaux (NOIR), un système BRI intelligent à usage général avec électroencéphalographie (EEG) non invasive. Le principe principal de ce système est l'autonomie hiérarchique partagée, dans laquelle les humains définissent des objectifs de haut niveau tandis que le robot actualise les objectifs grâce à l'exécution de commandes motrices de bas niveau. Tirant parti des progrès des neurosciences, de la robotique et de l’apprentissage automatique, notre système se distingue en allant au-delà des tentatives précédentes pour apporter les contributions suivantes.

Premièrement, NOIR est polyvalent par sa diversité de tâches et son accessibilité. Nous montrons que les humains peuvent accomplir un large éventail de 20 activités quotidiennes, contrairement aux systèmes BRI existants qui sont généralement spécialisés dans une ou quelques tâches ou existent uniquement en simulation [13-22]. De plus, le système peut être utilisé par la population générale, avec un minimum de formation.

Deuxièmement, le « I » dans NOIR signifie que nos robots sont intelligents et adaptatifs. Les robots sont équipés d’une bibliothèque de compétences diverses, leur permettant d’effectuer des actions de bas niveau sans supervision humaine dense. Les objectifs comportementaux humains peuvent naturellement être communiqués, interprétés et exécutés par les robots dotés de compétences primitives paramétrées, telles que Pick(obj-A) ou MoveTo(x,y). De plus, nos robots sont capables d’apprendre les objectifs visés par les humains au cours de leur collaboration. Nous montrons qu'en tirant parti des progrès récents dans les modèles de fondation, nous pouvons rendre un tel système plus adaptatif avec des données limitées. Nous montrons que cela peut augmenter considérablement l’efficacité du système.

Les principales contributions techniques de NOIR incluent un pipeline modulaire de décodage de signaux neuronaux pour les intentions humaines. Décoder les objectifs humains visés (par exemple, « prendre la tasse par la poignée ») à partir de signaux neuronaux est extrêmement difficile. Nous décomposons l'intention humaine en trois composantes : quel objet manipuler, comment interagir avec l'objet et où interagir, et montrons que de tels signaux peuvent être décodés à partir de différents types de données neuronales. Ces signaux décomposés correspondent naturellement à des compétences robotiques paramétrées et peuvent être communiqués efficacement aux robots.

Au cours de 20 activités domestiques impliquant des manipulations sur table ou sur mobile, trois sujets humains ont utilisé avec succès notre système pour accomplir ces tâches avec leurs signaux cérébraux. Nous démontrons qu’un robot apprenant en quelques étapes auprès des humains peut améliorer considérablement l’efficacité de notre système. Cette approche de construction de systèmes robotiques intelligents, qui utilisent les signaux du cerveau humain à des fins de collaboration, recèle un immense potentiel pour le développement de technologies d'assistance essentielles pour les personnes handicapées ou non et pour améliorer la qualité de leur vie.