Авторы:  (1) Жохан Чжан, факультет компьютерных наук, Стэнфордский университет, Институт человеко-ориентированного искусственного интеллекта (HAI), Стэнфордский университет, внес равный вклад; zharu@stanford.edu;  (2) Шэрон Ли, факультет компьютерных наук Стэнфордского университета и внес равный вклад; zharu@stanford.edu;  (3) Минджун Хван, факультет компьютерных наук Стэнфордского университета и внес равный вклад; zharu@stanford.edu;  (4) Аяно Хиранака, факультет машиностроения Стэнфордского университета и внес равный вклад; zharu@stanford.edu;  (5) Чен Ван, факультет компьютерных наук, Стэнфордский университет;  (6) Вэньси Ай, факультет компьютерных наук, Стэнфордский университет;  (7) Джин Цзе Райан Тан, факультет компьютерных наук, Стэнфордский университет;  (8) Шрея Гупта, факультет компьютерных наук, Стэнфордский университет;  (9) Илун Хао, факультет компьютерных наук, Стэнфордский университет;  (10) Руохан Гао, факультет компьютерных наук, Стэнфордский университет;  (11) Энтони Норсия, факультет психологии, Стэнфордский университет  (12) Ли Фей-Фей, 1-й факультет компьютерных наук Стэнфордского университета и Института человеко-ориентированного искусственного интеллекта (HAI), Стэнфордский университет;  (13) Цзяцзюнь Ву, факультет компьютерных наук, Стэнфордский университет и Институт человеко-ориентированного искусственного интеллекта (HAI), Стэнфордский университет.  Таблица ссылок   Аннотация и введение   Интерфейс «мозг-робот» (BRI): предыстория   Система НУАР   Эксперименты   Полученные результаты   Выводы, ограничения и этические проблемы   Благодарности и ссылки   Приложение 1: Вопросы и ответы о NOIR   Приложение 2: Сравнение различных устройств записи мозга   Приложение 3: Настройка системы   Приложение 4: Определения задач   Приложение 5: Экспериментальная процедура   Приложение 6: Подробности алгоритмов декодирования   Приложение 7. Подробности алгоритма обучения робота  Абстрактный  Мы представляем интеллектуальных роботов, управляемых нейронными сигналами (NOIR), универсальную интеллектуальную систему интерфейса «мозг-робот», которая позволяет людям командовать роботами для выполнения повседневных действий с помощью сигналов мозга. Через этот интерфейс люди сообщают роботам о предполагаемых объектах интереса и действиях с помощью электроэнцефалографии (ЭЭГ). Наша новая система демонстрирует успех в широком спектре из 20 сложных повседневных домашних дел, включая приготовление пищи, уборку, уход за собой и развлечения. Эффективность системы повышается за счет синергетической интеграции алгоритмов обучения роботов, что позволяет NOIR адаптироваться к отдельным пользователям и прогнозировать их намерения. Наша работа улучшает взаимодействие людей с роботами, заменяя традиционные каналы взаимодействия прямой нейронной связью. Сайт проекта: https://noir-corl.github.io/    интерфейс «мозг-робот»; Взаимодействие человека и робота  Ключевые слова:  1. Введение  Интерфейсы «мозг-робот» (BRI) являются высшим достижением в сфере искусства, науки и техники. Это стремление, которое заметно проявляется в спекулятивной фантастике, новаторских произведениях искусства и новаторских научных исследованиях, влечет за собой создание роботизированных систем, которые работают в идеальном взаимодействии с людьми. Важнейшим компонентом таких систем является их способность общаться с людьми. При сотрудничестве человека и робота и обучении роботов люди сообщают о своих намерениях посредством действий [1], нажатия кнопок [2, 3], взгляда [4–7], выражения лица [8], языка [9, 10] и т. д. [11] , 12]. Однако перспектива прямого общения посредством нейронных сигналов оказывается самой захватывающей, но сложной средой.  Мы представляем интеллектуальных роботов, управляемых нейронными сигналами (NOIR), универсальную интеллектуальную систему BRI с неинвазивной электроэнцефалографией (ЭЭГ). Основным принципом этой системы является иерархическая разделенная автономия, при которой люди определяют цели высокого уровня, а робот реализует цели посредством выполнения двигательных команд низкого уровня. Используя преимущества прогресса в области нейробиологии, робототехники и машинного обучения, наша система отличается тем, что выходит за рамки предыдущих попыток внести следующий вклад.  Во-первых, NOIR универсален по разнообразию задач и доступности. Мы показываем, что люди могут выполнять обширный набор из 20 ежедневных повседневных действий, в отличие от существующих систем BRI, которые обычно специализируются на одной или нескольких задачах или существуют исключительно в моделировании [13–22]. Кроме того, система может использоваться населением в целом после минимального обучения.  Во-вторых, «Я» в NOIR означает, что наши роботы умны и адаптивны. Роботы оснащены библиотекой разнообразных навыков, позволяющих им выполнять действия низкого уровня без плотного контроля со стороны человека. Поведенческие цели человека естественным образом могут передаваться, интерпретироваться и выполняться роботами с параметризованными примитивными навыками, такими как Pick(obj-A) или MoveTo(x,y). Кроме того, наши роботы способны изучать преследуемые человеком цели во время совместной работы. Мы показываем, что, используя недавний прогресс в моделях фундамента, мы можем сделать такую систему более адаптивной при ограниченных данных. Мы показываем, что это может существенно повысить эффективность системы.  Ключевые технические достижения NOIR включают модульный конвейер декодирования нейронных сигналов для человеческих намерений. Декодирование намеченных целей человека (например, «взять кружку за ручку») из нейронных сигналов чрезвычайно сложно. Мы разлагаем намерение человека на три компонента: «Каким объектом манипулировать», «Как взаимодействовать с объектом» и «Где взаимодействовать» и показываем, что такие сигналы можно декодировать из разных типов нейронных данных. Эти разложенные сигналы естественным образом соответствуют параметризованным навыкам роботов и могут эффективно передаваться роботам.  В ходе 20 домашних занятий, включающих манипуляции на столе или мобильных устройствах, три человека успешно использовали нашу систему для выполнения этих задач с помощью сигналов своего мозга. Мы демонстрируем, что обучение роботов за несколько кадров у людей может значительно повысить эффективность нашей системы. Этот подход к созданию интеллектуальных роботизированных систем, который использует сигналы человеческого мозга для совместной работы, несет в себе огромный потенциал для разработки критически важных ассистивных технологий для людей с ограниченными возможностями или без них и для улучшения качества их жизни.  Этот документ   под лицензией CC 4.0. доступен на arxiv

EScholar Technologies

EScholar

Этот звук создан на языке оригинала истории!

Слишком долго; Читать

Boost your HackerNoon story @ $159.99! 🚀

NOIR: интеллектуальные роботы, управляемые нейронными сигналами, для повседневной деятельности

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Рост криптовалют: создание эффективных образов пользователей

Краткое введение в теорию мозга Больцмана

Утечка информации о системе Claude Sonnet 3.5: судебно-медицинский анализ

Создание криптопродуктов, ориентированных на пользователя: важность отзывов клиентов

Рост криптовалют: создание эффективных образов пользователей

Краткое введение в теорию мозга Больцмана

Утечка информации о системе Claude Sonnet 3.5: судебно-медицинский анализ

Создание криптопродуктов, ориентированных на пользователя: важность отзывов клиентов

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps