NOIR：用于日常活动的神经信号操作智能机器人

链接表

摘要与简介

脑机器人接口（BRI）：背景

黑色系统

实验

结果

结论、局限性和道德问题

致谢和参考文献

附录1：NOIR问答

附录2：不同大脑记录设备的比较

附录 3：系统设置

附录 4：任务定义

附录5：实验程序

附录6：解码算法详细信息

附录7：机器人学习算法详细信息

抽象的

我们推出了神经信号操作智能机器人（NOIR），这是一种通用的智能大脑-机器人接口系统，使人类能够通过大脑信号命令机器人执行日常活动。通过这个界面，人类使用脑电图（EEG）将他们想要的兴趣对象和动作传达给机器人。我们的新颖系统在 20 种具有挑战性的日常家庭活动中取得了成功，包括烹饪、清洁、个人护理和娱乐。该系统的有效性通过机器人学习算法的协同集成得到提高，使 NOIR 能够适应个人用户并预测他们的意图。我们的工作增强了人类与机器人交互的方式，用直接的神经通信取代了传统的交互渠道。项目网站：https://noir-corl.github.io/

关键词：脑-机器人接口；人机交互

1 简介

脑机器人接口（BRI）是艺术、科学和工程领域的巅峰成就。这种愿望在推理小说、创新艺术作品和突破性科学研究中占有突出地位，需要创造与人类完美协同运作的机器人系统。此类系统的一个关键组成部分是它们与人类通信的能力。在人机协作和机器人学习中，人类通过动作 [1]、按下按钮 [2, 3]、凝视 [4–7]、面部表情 [8]、语言 [9, 10] 等来传达他们的意图 [11 ，12]。然而，通过神经信号直接交流的前景是最令人兴奋但最具挑战性的媒介。

我们推出神经信号操作智能机器人 (NOIR)，这是一种具有非侵入性脑电图 (EEG) 功能的通用智能 BRI 系统。该系统的主要原则是分层共享自治，人类定义高级目标，而机器人通过执行低级运动命令来实现目标。利用神经科学、机器人技术和机器学习方面的进步，我们的系统超越了之前的尝试，做出了以下贡献，从而脱颖而出。

首先，NOIR 因其任务多样性和可访问性而具有通用性。我们证明，人类可以完成 20 种日常活动，而现有的 BRI 系统通常专门从事一项或几项任务，或者仅存在于模拟中 [13-22]。此外，该系统可供普通人群使用，只需最少的培训。

其次，NOIR 中的“I”意味着我们的机器人具有智能和适应性。这些机器人配备了多种技能库，使它们能够在没有密集人类监督的情况下执行低级动作。人类的行为目标可以自然地由具有参数化原始技能的机器人来传达、解释和执行，例如 Pick(obj-A) 或 MoveTo(x,y)。此外，我们的机器人能够在协作过程中学习人类的预期目标。我们表明，通过利用基础模型的最新进展，我们可以使这样的系统在有限的数据下更具适应性。我们证明这可以显着提高系统的效率。

NOIR 的关键技术贡献包括用于人类意图的模块化神经信号解码管道。从神经信号中解码人类的预期目标（例如，“从手柄上拿起杯子”）极具挑战性。我们将人类意图分解为三个组成部分：操纵什么对象、如何与对象交互以及在哪里交互，并表明可以从不同类型的神经数据中解码这些信号。这些分解的信号自然对应于参数化的机器人技能，并且可以有效地传达给机器人。

在 20 项涉及桌面或移动操作的家庭活动中，三名人类受试者成功地使用我们的系统通过他们的大脑信号完成了这些任务。我们证明，机器人向人类学习的少量镜头可以显着提高我们系统的效率。这种构建智能机器人系统的方法利用人脑信号进行协作，对于为残疾人或正常人开发关键辅助技术并提高他们的生活质量具有巨大的潜力。