
 
 
 
 
 
 著者: (1) Jiacui Huang, Senior, IEEE (2)Hongtao Zhang, Senior, IEEE (3) Mingbo Zhao, Senior, IEEE (4) ウ・チョウ、シニア、IEEE。 Authors: (1) Jiacui Huang, Senior, IEEE (2)Hongtao Zhang, Senior, IEEE (3) Mingbo Zhao, Senior, IEEE (4) ウ・チョウ、シニア、IEEE。 左のテーブル Abstract and I. Introduction (抽象とI.紹介) 2.関連する仕事 3.方法 4.実験 V. 結論、承認、参照 VI.附属書 —Vision-and-Language Navigation (VLN) is a challenging task that requires a robot to navigate in photo-realistic environments with human natural language promptings. Recent studies aim to handle this task by constructing the semantic spatial map representation of the environment, and then leveraging the strong ability of reasoning in large language models for generalizing code for guiding the robot navigation. However, these methods face limitations in instance-level and attribute-level navigation tasks as they cannot distinguish different instances of the same object. To address this challenge, we propose a new method, namely, Instance-aware Visual Language Map (IVLMap), to empower the robot with instance-level and attribute-level semantic mapping, where it is autonomously constructed by fusing the RGBD video data collected from the robot agent with special-designed natural language map indexing in the bird’s-in-eye view. Such indexing is instancelevel and attribute-level. In particular, when integrated with a large language model, IVLMap demonstrates the capability to i) transform natural language into navigation targets with instance and attribute information, enabling precise localization, and ii) accomplish zero-shot end-to-end navigation tasks based on natural language commands. Extensive navigation experiments are conducted. Simulation results illustrate that our method can achieve an average improvement of 14.4% in navigation accuracy. Code and demo are released at https://ivlmap.github.io/. Abstract 抽象 I.導入 人間と協力できるロボットを開発することは、テルサ・オプティマス、モバイル・アロハなど、多くの現実世界のアプリケーションにおいて非常に重要である。人間の言語を理解し、知的に航行することができるロボットエージェントは、したがって、人類社会の利益のために重要である。この目的のために、Vision-and-Language Navigation(VLN)は、過去数年間に開発されており、ロボットエージェントが自然言語の指示に従って写真現実的な環境で航行することを可能にするために、例えば「第三の椅子へ航行する」または「黄色のソファへ航行する」という重要な問題である。これは、ロボットエージェントが人間から自然言語を解釈し、その視覚環境を感知し、 一般的に、ナビゲーションの環境に基づいて、VLNは、差異的および連続的な環境でのナビゲーションを含む2つのカテゴリーに大きく分けられます。R2R(2)、REVERIE(6)、SOON(7)などの差異的な環境では、VLNは、相互接続可能なノードから構成されるトポロジー構造として概念化されています。エージェントは、接続グラフを使用して隣接するノード間を移動し、利用可能な航行可能な方向から方向を選択します。対照的に、R2R-CE(8)とRxRCE(9)のような連続的な環境でVLNは、エージェントが固定ノード間をテレポートする代わりに、低レベルのアクションセット(例えば、前進 0.25 このコマンドを実行するには、最初にテーブルのすべてのインスタンスを識別し、その色の属性を抽出するために部屋全体を調査します。その後、コマンドで指示された特定の黒い色で4番目のテーブルの位置を特定します。このようなナビゲーションタスクを完了することは、現場のグローバルマップを持っている場合に容易に達成され、マップは、そのカテゴリ、詳細、色などを含む各オブジェクトに関する情報を含む必要があります。最近、VLMap [5]は、自然言語を使用して視覚的な地図をインデックスすることでセマンティックマップを構築することによって革新的なゼロショット空間ナビゲーションの先駆者です。しかし、VLMapは、ロボットエージェントに最も 本論文では、この課題に対処するために、Instance-aware Visual Language Map (IVLMap) という新しい方法を提案し、ロボットにインスタンスレベルおよび属性レベルのセマンティックマッピングを可能にし、IVLMap は、RGBD ビデオデータを鳥の視点で特別に設計された自然言語マップでインデックスすることにより自主的に構築されます。このようなインデックスはインスタンスレベルおよび属性レベルです。この方法で、IVLMap は同じカテゴリ内の異なるインスタンスをよく分離することができます。大規模な言語モデルと統合されると、i)自然言語をインスタンスおよび属性情報でターゲットに変換し、正確なローカリゼーション 
 
 
 
 
 
 a novel instance-level and attribute-level map in bird’sin-eye review is developed for better comprehend the environment and robot navigation planning, where the instances in map are obtained by involving region matching and label scoring to achieve the category label for each SAM [10]-segmented mask, while the color attribute labels for each mask are also obtained by using the similar approach. 
 
 leveraging IVLMap, we propose a two-step method for locating landmarks. This involves an initial coarsegrained localization of the corresponding mask, followed by a fine-grained localization and navigation within the mask’s designated region. 
 
 we established an interactive data collection platform, achieving real-time controllable data acquisition. This not only reduced data volume but also enhanced reconstruction efficiency. Furthermore, we conducted experiments in a real-world environment, providing valuable insights for the practical deployment of this method. この作業の残りは次のとおりで構成されます:第II部では、関連する作業をいくつか見直し、第III部では、提案されたIVLMAPを紹介するための詳細な説明を提供します。 2.関連業務 Convolutional Neural Networks (CNNs) [11]と dense Simultaneous Localization and Mapping (SLAM) [12]の統合によって推進されたセマンティックマッピングの進歩は著しく進歩しました。 SLAM++ [13]は、既存の知識を活用するオブジェクト指向のSLAMアプローチを導入しました。その後の研究では、例えば、[14]、3Dボリュームマップにおけるインスタンスレベルのセマンティクスを用いるMaskRCNNを使用しています。VLMaps(5)とNLMaps-Saycan(15)は、Visual Language Models(VLMs)を使用して自然言語を通じて検索可能なシーン表示を導入しました。以前の研究はセマンティックな詳細に焦点を当てていますが、 Semantic Mapping. インスタンスレベルのセグメントを達成することは、VLNで重要であり、類似のオブジェクトの個々のインスタンスの正確な識別と位置を必要とする。 革新的な研究(16)は、特定の検出段階なしにヒトインスタンスのセグメント化に取り組む。 リアルタイムソリューション(17)は、空間注意ガイドマスク(SAG-Mask)分支を導入する。 Instance Segmentation 最近では、Y. Long et al. などの研究者が、VIMNet のようなモデルに幅広いドメイン知識を浸透させるために大規模なトレーニングを採用している VLN で大きな進歩を遂げている[18]. 合併の課題に対処するために、VIM-Net は正確なナビゲーションのための視覚的および言語的情報を批判的に一致させている[19]. Talk2Nav のような革新は、二重注意メカニズムと空間記憶を備え、長距離 VLN に対処する[20]。 見えないオブジェクトをナビゲーションし、言語記述を正確に解釈し、オブジェクト属性のためのナビゲーションをパーソナライズし、エンド-to-エンドナビゲーションのデータ Vision-and-Language Navigation(VLN) Large Language Models (LLMs) は VLN で重要な役割を果たし、NavGPT の推論能力に明らかである [23]. LM-Nav は GPT-3 を使用して指示を解析し、マークをナビゲーションします [4]. VELMA は LLM をストリートレベルのナビゲーションに拡張し、複雑な都市環境における AI を豊かにします [24]. Vemprala et al. のロボットアプリケーションに ChatGPT を統合し、PaLM-E のビジュアルおよびテキストの入力を持つ多様な推論 [25]、 [26] が私たちのプロジェクトに影響を与え、自然言語によって指導された LLM を使用して正確なナビゲーションを達成 LLM used in VLN. 
 
 この論文は、CC by 4.0 Deed (Attribution 4.0 International) ライセンスの下で archiv で利用できます。 この論文は、CC by 4.0 Deed (Attribution 4.0 International) ライセンスの下で archiv で利用できます。 ARCHIV で利用可能

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

このオーディオは、ストーリーの元の言語で制作されています。

このAIマッピングシステムがロボットに世界を見せる

About Author

コメント

ラベル

この記事は

Related Stories

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

ワークフローを10倍に向上させる方法: 必須アプリ17選

ユニークなエコシステムを支えるビットコインUTXOのモデル

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

ワークフローを10倍に向上させる方法: 必須アプリ17選

ユニークなエコシステムを支えるビットコインUTXOのモデル

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps