Autoren:  (1) Ruohan Zhang, Fakultät für Informatik, Stanford University, Institute for Human-Centered AI (HAI), Stanford University und gleichermaßen beigetragen; zharu@stanford.edu;  (2) Sharon Lee, Fakultät für Informatik, Stanford University und hat gleichermaßen beigetragen; zharu@stanford.edu;  (3) Minjune Hwang, Fakultät für Informatik, Stanford University und hat gleichermaßen beigetragen; zharu@stanford.edu;  (4) Ayano Hiranaka, Fakultät für Maschinenbau, Stanford University und hat gleichermaßen beigetragen; zharu@stanford.edu;  (5) Chen Wang, Fakultät für Informatik, Stanford University;  (6) Wensi Ai, Fakultät für Informatik, Stanford University;  (7) Jin Jie Ryan Tan, Fakultät für Informatik, Stanford University;  (8) Shreya Gupta, Fakultät für Informatik, Stanford University;  (9) Yilun Hao, Fakultät für Informatik, Stanford University;  (10) Ruohan Gao, Fakultät für Informatik, Stanford University;  (11) Anthony Norcia, Abteilung für Psychologie, Stanford University  (12) Li Fei-Fei, 1Department of Computer Science, Stanford University & Institute for Human-Centered AI (HAI), Stanford University;  (13) Jiajun Wu, Fakultät für Informatik, Stanford University & Institute for Human-Centered AI (HAI), Stanford University.  Linktabelle   Zusammenfassung und Einführung   Brain-Robot Interface (BRI): Hintergrund   Das NOIR-System   Experimente   Ergebnisse   Schlussfolgerung, Einschränkungen und ethische Bedenken   Danksagungen und Referenzen   Anhang 1: Fragen und Antworten zu NOIR   Anhang 2: Vergleich zwischen verschiedenen Gehirnaufzeichnungsgeräten   Anhang 3: System-Setup   Anhang 4: Aufgabendefinitionen   Anhang 5: Experimentelles Verfahren   Anhang 6: Details zu den Dekodierungsalgorithmen   Anhang 7: Details zum Roboter-Lernalgorithmus  Abstrakt  Wir stellen Neural Signal Activated Intelligent Robots (NOIR) vor, ein universelles, intelligentes Gehirn-Roboter-Schnittstellensystem, das es Menschen ermöglicht, Robotern durch Gehirnsignale zu befehlen, alltägliche Aktivitäten auszuführen. Über diese Schnittstelle teilen Menschen den Robotern mithilfe der Elektroenzephalographie (EEG) ihre beabsichtigten Interessenobjekte und Aktionen mit. Unser neuartiges System zeigt Erfolg bei einem umfangreichen Spektrum von 20 anspruchsvollen, alltäglichen Haushaltsaktivitäten, darunter Kochen, Putzen, Körperpflege und Unterhaltung. Die Wirksamkeit des Systems wird durch die synergetische Integration von Roboterlernalgorithmen verbessert, sodass NOIR sich an einzelne Benutzer anpassen und deren Absichten vorhersagen kann. Unsere Arbeit verbessert die Art und Weise, wie Menschen mit Robotern interagieren, indem sie traditionelle Interaktionskanäle durch direkte, neuronale Kommunikation ersetzt. Projektwebsite: https://noir-corl.github.io/    Gehirn-Roboter-Schnittstelle; Mensch-Roboter-Interaktion  Schlüsselwörter:  1. Einleitung  Brain-Roboter-Schnittstellen (BRIs) sind eine Spitzenleistung im Bereich der Kunst, Wissenschaft und Technik. Dieses Bestreben, das in spekulativer Fiktion, innovativer Kunst und bahnbrechenden wissenschaftlichen Studien eine herausragende Rolle spielt, beinhaltet die Schaffung von Robotersystemen, die in perfekter Synergie mit Menschen arbeiten. Eine entscheidende Komponente solcher Systeme ist ihre Fähigkeit, mit Menschen zu kommunizieren. Bei der Mensch-Roboter-Kollaboration und beim Roboterlernen kommunizieren Menschen ihre Absichten durch Aktionen [1], Tastendrücke [2, 3], Blick [4–7], Gesichtsausdruck [8], Sprache [9, 10] usw. [11]. , 12]. Die Aussicht auf direkte Kommunikation über neuronale Signale erweist sich jedoch als das spannendste, aber auch anspruchsvollste Medium.  Wir präsentieren Neural Signal Activated Intelligent Robots (NOIR), ein universelles, intelligentes BRI-System mit nicht-invasiver Elektroenzephalographie (EEG). Das Hauptprinzip dieses Systems ist die hierarchische gemeinsame Autonomie, bei der Menschen Ziele auf hoher Ebene definieren, während der Roboter die Ziele durch die Ausführung von Motorbefehlen auf niedriger Ebene verwirklicht. Unser System nutzt die Fortschritte in den Bereichen Neurowissenschaften, Robotik und maschinelles Lernen und zeichnet sich dadurch aus, dass es über frühere Versuche hinausgeht und die folgenden Beiträge leistet.  Erstens ist NOIR aufgrund seiner Aufgabenvielfalt und Zugänglichkeit universell einsetzbar. Wir zeigen, dass Menschen ein umfangreiches Spektrum von 20 täglichen Alltagsaktivitäten ausführen können, im Gegensatz zu bestehenden BRI-Systemen, die typischerweise auf eine oder wenige Aufgaben spezialisiert sind oder ausschließlich auf Simulationen basieren [13–22]. Darüber hinaus kann das System mit einem minimalen Schulungsaufwand von der breiten Bevölkerung genutzt werden.  Zweitens bedeutet das „I“ in NOIR, dass unsere Roboter intelligent und anpassungsfähig sind. Die Roboter sind mit einer Bibliothek vielfältiger Fähigkeiten ausgestattet, die es ihnen ermöglicht, Aktionen auf niedriger Ebene ohne intensive menschliche Aufsicht auszuführen. Menschliche Verhaltensziele können von den Robotern natürlich mit parametrisierten primitiven Fähigkeiten wie Pick(obj-A) oder MoveTo(x,y) kommuniziert, interpretiert und ausgeführt werden. Darüber hinaus sind unsere Roboter in der Lage, während ihrer Zusammenarbeit von Menschen beabsichtigte Ziele zu erlernen. Wir zeigen, dass wir durch die Nutzung der jüngsten Fortschritte bei Grundlagenmodellen ein solches System mit begrenzten Daten anpassungsfähiger machen können. Wir zeigen, dass dadurch die Effizienz des Systems deutlich gesteigert werden kann.  Zu den wichtigsten technischen Beiträgen von NOIR gehört eine modulare Pipeline zur Dekodierung neuronaler Signale für menschliche Absichten. Die Entschlüsselung menschlicher Absichten (z. B. „den Becher vom Henkel nehmen“) aus neuronalen Signalen ist äußerst anspruchsvoll. Wir zerlegen die menschliche Absicht in drei Komponenten: Welches Objekt soll man manipulieren, Wie soll mit dem Objekt interagiert werden und Wo soll interagiert werden, und zeigen, dass solche Signale aus verschiedenen Arten neuronaler Daten entschlüsselt werden können. Diese zerlegten Signale entsprechen natürlich parametrisierten Roboterfähigkeiten und können effektiv an die Roboter kommuniziert werden.  Bei 20 Haushaltsaktivitäten, die Tisch- oder Mobilmanipulationen beinhalteten, nutzten drei menschliche Probanden erfolgreich unser System, um diese Aufgaben mit ihren Gehirnsignalen zu erledigen. Wir zeigen, dass das Lernen von Robotern mit wenigen Schüssen von Menschen die Effizienz unseres Systems erheblich verbessern kann. Dieser Ansatz zum Aufbau intelligenter Robotersysteme, die menschliche Gehirnsignale für die Zusammenarbeit nutzen, birgt ein enormes Potenzial für die Entwicklung entscheidender unterstützender Technologien für Menschen mit oder ohne Behinderungen und zur Verbesserung ihrer Lebensqualität.  Dieses Dokument ist   . auf arxiv unter der CC 4.0-Lizenz verfügbar

EScholar Technologies

EScholar

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Zu lang; Lesen

Boost your HackerNoon story @ $159.99! 🚀

NOIR: Mit neuronalen Signalen betriebene intelligente Roboter für alltägliche Aktivitäten

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded 2024: Celebrating Our Data Science Community!

HackerNoon Decoded 2024: Celebrating Our Tech Stories Community!

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded 2024: Celebrating Our Data Science Community!

HackerNoon Decoded 2024: Celebrating Our Tech Stories Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps