
 
 
 
 
 
 የቅጂ መብት: (1) ጂያኮይ ጓንግ, ጂያኮይ ጓንግ, IEEE; (2) Hongtao Zhang, ዋናው, IEEE; (3) Mingbo Zhao, ታዋቂ, IEEE; (4) Wu Zhou, ዋናው, IEEE. Authors: (1) ጂያኮይ ጓንግ, ጂያኮይ ጓንግ, IEEE; (2) Hongtao Zhang, ዋናው, IEEE; (3) Mingbo Zhao, ታዋቂ, IEEE; (4) Wu Zhou, ዋናው, IEEE. የመስመር ላይ ገጾች Abstract እና I. መውሰድ II. የተያዙ ሥራ 3 - ዘዴ 4 - ፈተና V. ግምገማዎች, ግምገማዎች እና ግምገማዎች አግኙን —Vision-and-Language Navigation (VLN) is a challenging task that requires a robot to navigate in photo-realistic environments with human natural language promptings. Recent studies aim to handle this task by constructing the semantic spatial map representation of the environment, and then leveraging the strong ability of reasoning in large language models for generalizing code for guiding the robot navigation. However, these methods face limitations in instance-level and attribute-level navigation tasks as they cannot distinguish different instances of the same object. To address this challenge, we propose a new method, namely, Instance-aware Visual Language Map (IVLMap), to empower the robot with instance-level and attribute-level semantic mapping, where it is autonomously constructed by fusing the RGBD video data collected from the robot agent with special-designed natural language map indexing in the bird’s-in-eye view. Such indexing is instancelevel and attribute-level. In particular, when integrated with a large language model, IVLMap demonstrates the capability to i) transform natural language into navigation targets with instance and attribute information, enabling precise localization, and ii) accomplish zero-shot end-to-end navigation tasks based on natural language commands. Extensive navigation experiments are conducted. Simulation results illustrate that our method can achieve an average improvement of 14.4% in navigation accuracy. Code and demo are released at https://ivlmap.github.io/. Abstract አጠቃቀም I. መውሰድ በአጠቃላይ, የ Robot-and-Language Navigation (VLN) ከሁሉም ዓመታት ውስጥ የ Robot-and-Language Navigation (VLN) በመተግበሪያዎች እንደ Telsa Optimus, Mobile ALOHA [1], ወዘተ እንደ ሮቦን መተግበሪያዎች ውስጥ በጣም አስፈላጊ ነው ሮቦን መተግበሪያዎች እና የአጠቃላይ ሮቦን መተግበሪያዎች (VLN) እንደ ሮቦን መተግበሪያዎች እንደ ሮቦን መተግበሪያዎች እና የአጠቃላይ ሮቦን መተግበሪያዎች እንደ ሮቦን መተግበሪያዎች እና የአጠቃላይ ሮቦን መተግበሪያዎች እንደ ሮቦን መተግበሪያዎች እንደ ሮቦን መተግበሪያዎች እንደ ሮቦን መተግ በ R2R[2], REVERIE [6], እና SOON[7] ውስጥ እንደ የ VLN እንደ አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም እርስዎ የ 4 ኛው ጥቁር ጫማ ላይ ለመጎብኘት ይፈልጋሉ. በዚህ ኮምፒውተር ለመጀመር, ሁሉም ስቴትሎች ለመውሰድ, የእርስዎን ጥቁር ባህሪያት ያካትታሉ. ከዚያም, በኮምፒውተር ውስጥ የተመሠረተ ጥቁር ቀለም ጋር የ 4 ኛው ስቴትል ለመውሰድ ይሆናል. እንደዚህ የ navigation ተግባር ለማጠናቀቅ በቀላሉ ሊሆን ይችላል, እርስዎ አንድ ዓለም አቀፍ ጫማ አግኝቷል, እና ካርታ እያንዳንዱ ስቴትሎች ስለ መረጃ ያካትታሉ, ጨምሮ, ዝርዝር, ቀለም, ወዘተ. በአሁኑ ጊዜ, VLMap [5] በፈጠራው, በአጠቃላይ ስቴትሎች ውስጥ የተመሠረተ, በአጠቃላይ ስቴትሎች ውስጥ በዚህ ጽሑፍ ውስጥ, በዚህ ፍላጎት ለማስተካከል, የእኛን የ RGBD ቪዲዮ ውሂብ ጋር የተመሠረተ የተመሠረተ ሕንፃ ቋንቋ ካርድ (IVLMap) ጋር የተመሠረተ የቪዲዮ ውሂብ በመተካት የቪዲዮ ካርድ (IVLMap) ሮቦቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶቶ 
 
 
 
 
 
 a novel instance-level and attribute-level map in bird’sin-eye review is developed for better comprehend the environment and robot navigation planning, where the instances in map are obtained by involving region matching and label scoring to achieve the category label for each SAM [10]-segmented mask, while the color attribute labels for each mask are also obtained by using the similar approach. 
 
 leveraging IVLMap, we propose a two-step method for locating landmarks. This involves an initial coarsegrained localization of the corresponding mask, followed by a fine-grained localization and navigation within the mask’s designated region. 
 
 we established an interactive data collection platform, achieving real-time controllable data acquisition. This not only reduced data volume but also enhanced reconstruction efficiency. Furthermore, we conducted experiments in a real-world environment, providing valuable insights for the practical deployment of this method. የ II ክፍል ውስጥ, አንዳንድ ተስማሚ ሥራዎች ይመልከቱ; በ III ክፍል ውስጥ, የተመሠረተ IVLMAP ለማስተናወን ለብዙ ዝርዝሮች ይሰጣሉ. በ IV ክፍል ውስጥ ውጥረት ተሞክሮዎች ይጀምራል እና በ V ክፍል ውስጥ መጨረሻው መጨረሻዎች ይሰጣሉ. II. ተስማሚ ሥራ የ Convolutional Neural Networks (CNNs) [11] እና dense Simultaneous Localization and Mapping (SLAM) [12] መተግበሪያዎች በመተግበሪያ ላይ የተመሠረተ ስሜታቲክ ማተሚያ ውስጥ ልማት በከፍተኛ ደረጃ ላይ ተደርጓል. SLAM++ [13] የፈጠራ መረጃዎችን በመጠቀም የ SLAM መተግበሪያዎችን በመተግበሪያ ነው. ቀጣይ ምርቶች, ለምሳሌ [14], የ 3D የሙቀት ማተሚያዎች ውስጥ የኮምፒውተር-የተግበሪያ ደረጃ ስሜታቲክ ለማግኘት MaskRCNN ይጠቀማሉ. VLMaps [5] እና NLMaps-Saycan [15] በእያንዳንዱ ፒክስልን ትክክለኛነት ያካትታሉ, የ Visual Language Models (VLMs) በመ Semantic Mapping. በ VLN ውስጥ የ instance-level segmentation ለማግኘት በጣም አስፈላጊ ነው, እንዲሁም ተመሳሳይ ንጥሎች መካከል ልዩ ንጥሎች ትክክለኛውን መታወቂያ እና ቦታዎችን ያስፈልጋል. Innovative research [16] addresses human instance segmentation without distinct detection stages. Real-time solutions [17] introduces a Spatial Attention-Guided Mask (SAG-Mask) branch. Meta AI's Segment Anything Model (SAM) [10] promptable segmentation, allowing zero-shot generalization to unfamiliar objects. SAM's object mask segmentation, while powerful, lacks mask individual labelling, limiting practical applications. Instance Segmentation በ VIMNet እንደ ሞዴሎች ውስጥ ታዋቂ የዶሜኒንግ ሳይንሳዊ ልምድ ለማሟላት በከፍተኛ ደረጃ ስልጠና በመተግበሪያዎች እንደ Y. Long et al. እንደ VIM-Net [18] በ VLN ውስጥ ታዋቂ ልምድ ተደርጓል.[19] በ VIM-Net እንደ Talk2Nav እንደ Innovations, dual attention mechanisms and spatial memory, to address long-range VLN [20] በከፍተኛ መጠን VLN [20] በከፍተኛ መጠን VLN [20] በከፍተኛ መጠን VLN [20] በከፍተኛ መጠን VLN [20] በከፍተኛ መጠን VLN [20] በከፍተኛ መጠን VLN [20] በከፍተኛ መጠን VLN [20] በከፍተኛ መጠን VLN [20] በከፍተኛ መጠን VLN [20] በ Vision-and-Language Navigation(VLN) Large Language Models (LLMs) በ VLN ውስጥ አስቸጋሪ ተጽዕኖ ይጫወታሉ, በ NavGPT ን ግምገማ ችሎታዎች ውስጥ የሚታወቀው [23]. LM-Nav በ GPT-3 መተግበሪያዎች ለመተግበሪያ እና በይነገጽ ገጽታዎችን ለማግኘት ይጠቀማል [4]. VELMA የ LLMs ወደ street level navigation ይተካል, በኮንክሌክትሮኒካዊ አካባቢዎች ውስጥ የ AI ያካትታሉ [24] ፡፡ Vemprala et al. እንደ ChatGPT ወደ ሮቦቶቲክ መተግበሪያዎች እና የ PaLM-E የ multimodal ግምገማዎች በቪዲዮ እና የኮንክሌክትሮኒካዊ መተግበሪያዎች [25] እንደ ግምገማዎች በ LLM used in VLN. 
 
 ይህ ጽሑፍ በ CC by 4.0 Deed (Attribution 4.0 International) ዝርዝር ላይ ይገኛል. ይህ ጽሑፍ በ CC by 4.0 Deed (Attribution 4.0 International) ዝርዝር ላይ ይገኛል. አግኝቷል Archive

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

ይህ ኦዲዮ የተዘጋጀው በታሪኩ የመጀመሪያ ቋንቋ ነው!

ይህ AI ማምረቻ ስርዓት የ Robots በዓለም ይመልከቱ

About Author

አስተያየቶች

ተንጠልጣይ መለያዎች

ይህ ጽሑፍ ቀርቧል

Related Stories

Startups Legal Advice discussion with Josh Ephraim, AMA on September 3rd, 9 am PST

AMA with Lina Survila, Women in Tech awards nominee

Democratizing Crypto Trading with Trade Fighter

SOME ANOMALIES

Startups Legal Advice discussion with Josh Ephraim, AMA on September 3rd, 9 am PST

AMA with Lina Survila, Women in Tech awards nominee

Democratizing Crypto Trading with Trade Fighter

SOME ANOMALIES

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps