느와르(NOIR): 일상 활동을 위한 신경 신호로 작동되는 지능형 로봇

링크 표

개요 및 소개

뇌-로봇 인터페이스(BRI): 배경

느와르 시스템

실험

결과

결론, 한계 및 윤리적 우려

감사의 말씀 및 참고자료

부록 1: NOIR에 대한 질문과 답변

부록 2: 다양한 뇌 기록 장치 간의 비교

부록 3: 시스템 설정

부록 4: 작업 정의

부록 5: 실험 절차

부록 6: 디코딩 알고리즘 세부정보

부록 7: 로봇 학습 알고리즘 세부정보

추상적인

인간이 뇌 신호를 통해 로봇에게 일상 활동을 수행하도록 명령할 수 있는 범용 지능형 뇌-로봇 인터페이스 시스템인 신경 신호 작동 지능형 로봇(NOIR)을 소개합니다. 이 인터페이스를 통해 인간은 뇌파검사(EEG)를 사용하여 의도한 관심 대상과 행동을 로봇에 전달합니다. 우리의 새로운 시스템은 요리, 청소, 개인 관리 및 오락을 포함하여 20가지의 도전적이고 일상적인 가사 활동에서 성공을 보여줍니다. NOIR은 개별 사용자에게 적응하고 의도를 예측할 수 있도록 로봇 학습 알고리즘의 시너지 통합을 통해 시스템의 효율성이 향상됩니다. 우리의 작업은 인간이 로봇과 상호 작용하는 방식을 향상시켜 전통적인 상호 작용 채널을 직접적인 신경 통신으로 대체합니다. 프로젝트 웹사이트: https://noir-corl.github.io/

키워드: 뇌-로봇 인터페이스; 인간-로봇 상호작용

1. 소개

뇌-로봇 인터페이스(BRI)는 예술, 과학, 엔지니어링 분야에서 최고의 성과입니다. 추측성 소설, 혁신적인 예술 작품, 획기적인 과학 연구에서 두드러지게 나타나는 이러한 열망은 인간과 완벽한 시너지 효과를 내며 작동하는 로봇 시스템을 만드는 것을 수반합니다. 이러한 시스템의 중요한 구성 요소는 인간과 통신하는 능력입니다. 인간-로봇 협업 및 로봇 학습에서 인간은 행동[1], 버튼 누르기[2, 3], 시선[4-7], 표정[8], 언어[9, 10] 등을 통해 자신의 의도를 전달합니다[11 , 12]. 그러나 신경 신호를 통한 직접적인 의사소통의 가능성은 가장 스릴 넘치면서도 도전적인 매체로 부각됩니다.

우리는 비침습적 뇌파검사(EEG)를 갖춘 범용 지능형 BRI 시스템인 신경 신호 작동 지능형 로봇(NOIR)을 소개합니다. 이 시스템의 기본 원리는 계층적 공유 자율성입니다. 인간은 높은 수준의 목표를 정의하고 로봇은 낮은 수준의 모터 명령을 실행하여 목표를 실현합니다. 신경 과학, 로봇 공학 및 기계 학습의 발전을 활용하여 우리 시스템은 다음과 같은 기여를 하기 위해 이전 시도를 뛰어넘어 차별화됩니다.

첫째, NOIR은 작업의 다양성과 접근성이 범용적입니다. 우리는 일반적으로 하나 또는 몇 가지 작업에 특화되어 있거나 시뮬레이션에만 존재하는 기존 BRI 시스템과 달리 인간이 매일 20가지의 광범위한 일상 활동을 수행할 수 있음을 보여줍니다[13-22]. 또한 이 시스템은 최소한의 교육만 받으면 일반 대중도 사용할 수 있습니다.

둘째, 느와르(NOIR)의 'I'는 우리 로봇이 지능적이고 적응력이 있다는 것을 의미합니다. 로봇은 다양한 기술 라이브러리를 갖추고 있어 사람의 밀집된 감독 없이도 낮은 수준의 작업을 수행할 수 있습니다. 인간의 행동 목표는 Pick(obj-A) 또는 MoveTo(x,y)와 같은 매개변수화된 기본 기술을 사용하여 로봇에 의해 자연스럽게 전달, 해석 및 실행될 수 있습니다. 또한, 우리 로봇은 협업 중에 인간이 의도한 목표를 학습할 수 있습니다. 우리는 기초 모델의 최근 발전을 활용하여 제한된 데이터로 이러한 시스템을 보다 적응력 있게 만들 수 있음을 보여줍니다. 우리는 이것이 시스템의 효율성을 크게 향상시킬 수 있음을 보여줍니다.

NOIR의 주요 기술적 기여에는 인간의 의도를 위한 모듈식 신경 신호 디코딩 파이프라인이 포함됩니다. 신경 신호에서 인간이 의도한 목표(예: "손잡이에서 머그컵 집기")를 디코딩하는 것은 매우 어렵습니다. 우리는 인간의 의도를 조작할 객체, 객체와 상호 작용하는 방법, 상호 작용할 위치의 세 가지 구성 요소로 분해하고 이러한 신호가 다양한 유형의 신경 데이터에서 디코딩될 수 있음을 보여줍니다. 이렇게 분해된 신호는 자연스럽게 매개변수화된 로봇 기술에 해당하며 로봇에 효과적으로 전달될 수 있습니다.

테이블 위 또는 모바일 조작과 관련된 20가지 가정 활동에서 세 명의 피험자가 우리 시스템을 사용하여 뇌 신호를 통해 이러한 작업을 성공적으로 수행했습니다. 우리는 인간으로부터 학습하는 몇 번의 로봇 학습이 시스템의 효율성을 크게 향상시킬 수 있음을 보여줍니다. 협업을 위해 인간의 뇌 신호를 활용하는 지능형 로봇 시스템을 구축하는 이러한 접근 방식은 장애가 있거나 없는 개인을 위한 중요한 보조 기술을 개발하고 삶의 질을 향상시킬 수 있는 엄청난 잠재력을 가지고 있습니다.