NOIR: интеллектуальные роботы, управляемые нейронными сигналами, для повседневной деятельности

Таблица ссылок

Аннотация и введение

Интерфейс «мозг-робот» (BRI): предыстория

Система НУАР

Эксперименты

Полученные результаты

Выводы, ограничения и этические проблемы

Благодарности и ссылки

Приложение 1: Вопросы и ответы о NOIR

Приложение 2: Сравнение различных устройств записи мозга

Приложение 3: Настройка системы

Приложение 4: Определения задач

Приложение 5: Экспериментальная процедура

Приложение 6: Подробности алгоритмов декодирования

Приложение 7. Подробности алгоритма обучения робота

Абстрактный

Мы представляем интеллектуальных роботов, управляемых нейронными сигналами (NOIR), универсальную интеллектуальную систему интерфейса «мозг-робот», которая позволяет людям командовать роботами для выполнения повседневных действий с помощью сигналов мозга. Через этот интерфейс люди сообщают роботам о предполагаемых объектах интереса и действиях с помощью электроэнцефалографии (ЭЭГ). Наша новая система демонстрирует успех в широком спектре из 20 сложных повседневных домашних дел, включая приготовление пищи, уборку, уход за собой и развлечения. Эффективность системы повышается за счет синергетической интеграции алгоритмов обучения роботов, что позволяет NOIR адаптироваться к отдельным пользователям и прогнозировать их намерения. Наша работа улучшает взаимодействие людей с роботами, заменяя традиционные каналы взаимодействия прямой нейронной связью. Сайт проекта: https://noir-corl.github.io/

Ключевые слова: интерфейс «мозг-робот»; Взаимодействие человека и робота

1. Введение

Интерфейсы «мозг-робот» (BRI) являются высшим достижением в сфере искусства, науки и техники. Это стремление, которое заметно проявляется в спекулятивной фантастике, новаторских произведениях искусства и новаторских научных исследованиях, влечет за собой создание роботизированных систем, которые работают в идеальном взаимодействии с людьми. Важнейшим компонентом таких систем является их способность общаться с людьми. При сотрудничестве человека и робота и обучении роботов люди сообщают о своих намерениях посредством действий [1], нажатия кнопок [2, 3], взгляда [4–7], выражения лица [8], языка [9, 10] и т. д. [11] , 12]. Однако перспектива прямого общения посредством нейронных сигналов оказывается самой захватывающей, но сложной средой.

Мы представляем интеллектуальных роботов, управляемых нейронными сигналами (NOIR), универсальную интеллектуальную систему BRI с неинвазивной электроэнцефалографией (ЭЭГ). Основным принципом этой системы является иерархическая разделенная автономия, при которой люди определяют цели высокого уровня, а робот реализует цели посредством выполнения двигательных команд низкого уровня. Используя преимущества прогресса в области нейробиологии, робототехники и машинного обучения, наша система отличается тем, что выходит за рамки предыдущих попыток внести следующий вклад.

Во-первых, NOIR универсален по разнообразию задач и доступности. Мы показываем, что люди могут выполнять обширный набор из 20 ежедневных повседневных действий, в отличие от существующих систем BRI, которые обычно специализируются на одной или нескольких задачах или существуют исключительно в моделировании [13–22]. Кроме того, система может использоваться населением в целом после минимального обучения.

Во-вторых, «Я» в NOIR означает, что наши роботы умны и адаптивны. Роботы оснащены библиотекой разнообразных навыков, позволяющих им выполнять действия низкого уровня без плотного контроля со стороны человека. Поведенческие цели человека естественным образом могут передаваться, интерпретироваться и выполняться роботами с параметризованными примитивными навыками, такими как Pick(obj-A) или MoveTo(x,y). Кроме того, наши роботы способны изучать преследуемые человеком цели во время совместной работы. Мы показываем, что, используя недавний прогресс в моделях фундамента, мы можем сделать такую систему более адаптивной при ограниченных данных. Мы показываем, что это может существенно повысить эффективность системы.

Ключевые технические достижения NOIR включают модульный конвейер декодирования нейронных сигналов для человеческих намерений. Декодирование намеченных целей человека (например, «взять кружку за ручку») из нейронных сигналов чрезвычайно сложно. Мы разлагаем намерение человека на три компонента: «Каким объектом манипулировать», «Как взаимодействовать с объектом» и «Где взаимодействовать» и показываем, что такие сигналы можно декодировать из разных типов нейронных данных. Эти разложенные сигналы естественным образом соответствуют параметризованным навыкам роботов и могут эффективно передаваться роботам.

В ходе 20 домашних занятий, включающих манипуляции на столе или мобильных устройствах, три человека успешно использовали нашу систему для выполнения этих задач с помощью сигналов своего мозга. Мы демонстрируем, что обучение роботов за несколько кадров у людей может значительно повысить эффективность нашей системы. Этот подход к созданию интеллектуальных роботизированных систем, который использует сигналы человеческого мозга для совместной работы, несет в себе огромный потенциал для разработки критически важных ассистивных технологий для людей с ограниченными возможностями или без них и для улучшения качества их жизни.