268 測定値

NOIR: 日常活動のための神経信号で動作するインテリジェントロボット

に EScholar: Electronic Academic Papers for Scholars4m2024/02/14

長すぎる; 読むには

NOIR は、脳ロボットインターフェイスシステムによりロボット工学に画期的な進歩をもたらし、日常業務における直接的な神経伝達を容易にします。 NOIR は、適応型インテリジェンスとモジュール式信号デコードを通じて、ユーザーがロボットに簡単に命令できるようにし、ハムノイズに革命をもたらします。

featured image - NOIR: 日常活動のための神経信号で動作するインテリジェントロボット

著者:

(1) Ruohan Zhang 氏、スタンフォード大学コンピュータサイエンス学部、スタンフォード大学人間中心 AI 研究所 (HAI)、および同様に貢献。 [email protected];

(2) Sharon Lee、スタンフォード大学コンピューターサイエンス学部、同様に貢献。 [email protected];

(3) Minjune Hwang、スタンフォード大学コンピューターサイエンス学部、同様に貢献。 [email protected];

(4) 平中彩乃、スタンフォード大学機械工学科、同様に貢献。 [email protected];

(5) Chen Wang、スタンフォード大学コンピューターサイエンス学部。

(6) Wensi Ai、スタンフォード大学コンピューターサイエンス学部。

(7) Jin Jie Ryan Tan、スタンフォード大学コンピューターサイエンス学部。

(8) Shreya Gupta、スタンフォード大学コンピューターサイエンス学部。

(9) Yilun Hao、スタンフォード大学コンピューターサイエンス学部。

(10) Ruohan Gao、スタンフォード大学コンピューターサイエンス学部。

(11) アンソニー・ノーシア、スタンフォード大学心理学部

(12) Li Fei-Fei、スタンフォード大学コンピューターサイエンス学部およびスタンフォード大学人間中心 AI (HAI) 研究所。

(13) Jiajun Wu、スタンフォード大学コンピュータサイエンス学部およびスタンフォード大学人間中心 AI (HAI) 研究所。

リンク表

要約と紹介

ブレインロボットインターフェース (BRI): 背景

付録 2: さまざまな脳記録デバイス間の比較

付録 7: ロボット学習アルゴリズムの詳細

抽象的な

我々は、人間が脳信号を通じてロボットに日常活動を実行するよう命令できるようにする、汎用のインテリジェントなブレインロボットインターフェイスシステムである神経信号作動インテリジェントロボット（NOIR）を紹介します。このインターフェースを通じて、人間は脳波検査 (EEG) を使用して、意図した関心対象や動作をロボットに伝えます。当社の斬新なシステムは、料理、掃除、身の回りの世話、娯楽など、20 種類の幅広い日常の家事活動で成功を収めています。ロボット学習アルゴリズムの相乗的統合によってシステムの有効性が向上し、NOIR が個々のユーザーに適応してユーザーの意図を予測できるようになります。私たちの取り組みは、人間がロボットと対話する方法を強化し、従来の対話チャネルを直接的な神経通信に置き換えます。プロジェクトウェブサイト: https://noir-corl.github.io/

キーワード:ブレインロボットインターフェース;人間とロボットのインタラクション

1 はじめに

ブレインロボットインターフェイス (BRI) は、芸術、科学、工学の分野における最高の成果です。この願望は、推理小説、革新的なアートワーク、画期的な科学研究に顕著に表れており、人間と完璧な相乗効果で動作するロボットシステムの作成を伴います。このようなシステムの重要な要素は、人間と通信する能力です。人間とロボットのコラボレーションやロボット学習では、人間は動作 [1]、ボタンの押下 [2、3]、視線 [4-7]、表情 [8]、言語 [9、10] などを通じて自分の意図を伝えます [11] 、12]。しかし、神経信号を介した直接コミュニケーションの可能性は、最もスリリングではあるが挑戦的な媒体であることが際立っています。

我々は、非侵襲的脳波検査 (EEG) を備えた汎用のインテリジェント BRI システムである、神経信号作動インテリジェントロボット (NOIR) を紹介します。このシステムの主な原理は階層的な共有自律性であり、人間が高レベルの目標を定義し、ロボットが低レベルの運動コマンドの実行を通じて目標を実現します。神経科学、ロボット工学、機械学習の進歩を利用して、私たちのシステムは、これまでの試みを超えて次のような貢献をすることで際立っています。

まず、NOIR はタスクの多様性とアクセシビリティの点で汎用的です。私たちは、通常 1 つまたはいくつかのタスクに特化したり、シミュレーションのみに存在する既存の BRI システムとは対照的に、人間が 20 の膨大な日常活動を実行できることを示します [13-22]。さらに、このシステムは最小限のトレーニングを受ければ一般の人でも使用できます。

第二に、NOIR の「I」は、当社のロボットが知的で適応性があることを意味します。ロボットには多様なスキルのライブラリが装備されており、人間による緻密な監督なしで低レベルのアクションを実行できます。人間の行動目標は、Pick(obj-A) や MoveTo(x,y) などのパラメーター化された原始的なスキルを備えたロボットによって自然に伝達、解釈、実行できます。さらに、当社のロボットは、コラボレーション中に人間が意図する目標を学習することができます。基礎モデルの最近の進歩を活用することで、限られたデータでもこのようなシステムの適応性を高めることができることを示します。これによりシステムの効率が大幅に向上することを示します。

NOIR の主な技術的貢献には、人間の意図を表すモジュール式の神経信号デコードパイプラインが含まれます。人間の意図する目標 (たとえば、「マグカップをハンドルから持ち上げる」) を神経信号から解読することは、非常に困難です。私たちは人間の意図を、どのオブジェクトを操作するか、どのようにオブジェクトと対話するか、どこで対話するかという 3 つの要素に分解し、そのような信号をさまざまなタイプのニューラルデータからデコードできることを示します。これらの分解された信号は、パラメータ化されたロボットのスキルに自然に対応し、ロボットに効果的に伝達できます。

卓上またはモバイル操作を伴う 20 の家庭内活動において、3 人の被験者が当社のシステムを使用して脳信号でこれらのタスクを達成することに成功しました。私たちは、人間から学習する少数ショットのロボットがシステムの効率を大幅に向上できることを実証します。人間の脳信号を共同作業に利用するインテリジェントなロボットシステムを構築するこのアプローチは、障害の有無にかかわらず個人のための重要な支援技術を開発し、生活の質を向上させるための計り知れない可能性を秘めています。