NOIR: Mit neuronalen Signalen betriebene intelligente Roboter für alltägliche Aktivitäten

Linktabelle

Zusammenfassung und Einführung

Brain-Robot Interface (BRI): Hintergrund

Das NOIR-System

Experimente

Ergebnisse

Schlussfolgerung, Einschränkungen und ethische Bedenken

Danksagungen und Referenzen

Anhang 1: Fragen und Antworten zu NOIR

Anhang 2: Vergleich zwischen verschiedenen Gehirnaufzeichnungsgeräten

Anhang 3: System-Setup

Anhang 4: Aufgabendefinitionen

Anhang 5: Experimentelles Verfahren

Anhang 6: Details zu den Dekodierungsalgorithmen

Anhang 7: Details zum Roboter-Lernalgorithmus

Abstrakt

Wir stellen Neural Signal Activated Intelligent Robots (NOIR) vor, ein universelles, intelligentes Gehirn-Roboter-Schnittstellensystem, das es Menschen ermöglicht, Robotern durch Gehirnsignale zu befehlen, alltägliche Aktivitäten auszuführen. Über diese Schnittstelle teilen Menschen den Robotern mithilfe der Elektroenzephalographie (EEG) ihre beabsichtigten Interessenobjekte und Aktionen mit. Unser neuartiges System zeigt Erfolg bei einem umfangreichen Spektrum von 20 anspruchsvollen, alltäglichen Haushaltsaktivitäten, darunter Kochen, Putzen, Körperpflege und Unterhaltung. Die Wirksamkeit des Systems wird durch die synergetische Integration von Roboterlernalgorithmen verbessert, sodass NOIR sich an einzelne Benutzer anpassen und deren Absichten vorhersagen kann. Unsere Arbeit verbessert die Art und Weise, wie Menschen mit Robotern interagieren, indem sie traditionelle Interaktionskanäle durch direkte, neuronale Kommunikation ersetzt. Projektwebsite: https://noir-corl.github.io/

Schlüsselwörter: Gehirn-Roboter-Schnittstelle; Mensch-Roboter-Interaktion

1. Einleitung

Brain-Roboter-Schnittstellen (BRIs) sind eine Spitzenleistung im Bereich der Kunst, Wissenschaft und Technik. Dieses Bestreben, das in spekulativer Fiktion, innovativer Kunst und bahnbrechenden wissenschaftlichen Studien eine herausragende Rolle spielt, beinhaltet die Schaffung von Robotersystemen, die in perfekter Synergie mit Menschen arbeiten. Eine entscheidende Komponente solcher Systeme ist ihre Fähigkeit, mit Menschen zu kommunizieren. Bei der Mensch-Roboter-Kollaboration und beim Roboterlernen kommunizieren Menschen ihre Absichten durch Aktionen [1], Tastendrücke [2, 3], Blick [4–7], Gesichtsausdruck [8], Sprache [9, 10] usw. [11]. , 12]. Die Aussicht auf direkte Kommunikation über neuronale Signale erweist sich jedoch als das spannendste, aber auch anspruchsvollste Medium.

Wir präsentieren Neural Signal Activated Intelligent Robots (NOIR), ein universelles, intelligentes BRI-System mit nicht-invasiver Elektroenzephalographie (EEG). Das Hauptprinzip dieses Systems ist die hierarchische gemeinsame Autonomie, bei der Menschen Ziele auf hoher Ebene definieren, während der Roboter die Ziele durch die Ausführung von Motorbefehlen auf niedriger Ebene verwirklicht. Unser System nutzt die Fortschritte in den Bereichen Neurowissenschaften, Robotik und maschinelles Lernen und zeichnet sich dadurch aus, dass es über frühere Versuche hinausgeht und die folgenden Beiträge leistet.

Erstens ist NOIR aufgrund seiner Aufgabenvielfalt und Zugänglichkeit universell einsetzbar. Wir zeigen, dass Menschen ein umfangreiches Spektrum von 20 täglichen Alltagsaktivitäten ausführen können, im Gegensatz zu bestehenden BRI-Systemen, die typischerweise auf eine oder wenige Aufgaben spezialisiert sind oder ausschließlich auf Simulationen basieren [13–22]. Darüber hinaus kann das System mit einem minimalen Schulungsaufwand von der breiten Bevölkerung genutzt werden.

Zweitens bedeutet das „I“ in NOIR, dass unsere Roboter intelligent und anpassungsfähig sind. Die Roboter sind mit einer Bibliothek vielfältiger Fähigkeiten ausgestattet, die es ihnen ermöglicht, Aktionen auf niedriger Ebene ohne intensive menschliche Aufsicht auszuführen. Menschliche Verhaltensziele können von den Robotern natürlich mit parametrisierten primitiven Fähigkeiten wie Pick(obj-A) oder MoveTo(x,y) kommuniziert, interpretiert und ausgeführt werden. Darüber hinaus sind unsere Roboter in der Lage, während ihrer Zusammenarbeit von Menschen beabsichtigte Ziele zu erlernen. Wir zeigen, dass wir durch die Nutzung der jüngsten Fortschritte bei Grundlagenmodellen ein solches System mit begrenzten Daten anpassungsfähiger machen können. Wir zeigen, dass dadurch die Effizienz des Systems deutlich gesteigert werden kann.

Zu den wichtigsten technischen Beiträgen von NOIR gehört eine modulare Pipeline zur Dekodierung neuronaler Signale für menschliche Absichten. Die Entschlüsselung menschlicher Absichten (z. B. „den Becher vom Henkel nehmen“) aus neuronalen Signalen ist äußerst anspruchsvoll. Wir zerlegen die menschliche Absicht in drei Komponenten: Welches Objekt soll man manipulieren, Wie soll mit dem Objekt interagiert werden und Wo soll interagiert werden, und zeigen, dass solche Signale aus verschiedenen Arten neuronaler Daten entschlüsselt werden können. Diese zerlegten Signale entsprechen natürlich parametrisierten Roboterfähigkeiten und können effektiv an die Roboter kommuniziert werden.

Bei 20 Haushaltsaktivitäten, die Tisch- oder Mobilmanipulationen beinhalteten, nutzten drei menschliche Probanden erfolgreich unser System, um diese Aufgaben mit ihren Gehirnsignalen zu erledigen. Wir zeigen, dass das Lernen von Robotern mit wenigen Schüssen von Menschen die Effizienz unseres Systems erheblich verbessern kann. Dieser Ansatz zum Aufbau intelligenter Robotersysteme, die menschliche Gehirnsignale für die Zusammenarbeit nutzen, birgt ein enormes Potenzial für die Entwicklung entscheidender unterstützender Technologien für Menschen mit oder ohne Behinderungen und zur Verbesserung ihrer Lebensqualität.