
 
 
 
 
 
 எழுத்தாளர்கள் : (1) ஜாக்கிரதையர் ஜாக்கிரதையர் ஜாக்கிரதையர் (2) Hongtao Zhang, வயதான, IEEE; (3) Mingbo Zhao, வயதான, IEEE; (4) Wu Zhou, பழைய, IEEE Authors: (1) ஜாக்கிரதையர் ஜாக்கிரதையர் ஜாக்கிரதையர் (2) Hongtao Zhang, வயதான, IEEE; (3) Mingbo Zhao, வயதான, IEEE; (4) Wu Zhou, பழைய, IEEE வலதுபுறம் Table Abstract மற்றும் I. Introduction II. தொடர்புடைய வேலைகள் 3 - வழிமுறை IV. ஆய்வு V. Conclusion, Recognitions, and References – முடிவுகள், உறுதிமொழிகள் மற்றும் குறிப்புகள் ஆங்கிலம்: Appendix —Vision-and-Language Navigation (VLN) is a challenging task that requires a robot to navigate in photo-realistic environments with human natural language promptings. Recent studies aim to handle this task by constructing the semantic spatial map representation of the environment, and then leveraging the strong ability of reasoning in large language models for generalizing code for guiding the robot navigation. However, these methods face limitations in instance-level and attribute-level navigation tasks as they cannot distinguish different instances of the same object. To address this challenge, we propose a new method, namely, Instance-aware Visual Language Map (IVLMap), to empower the robot with instance-level and attribute-level semantic mapping, where it is autonomously constructed by fusing the RGBD video data collected from the robot agent with special-designed natural language map indexing in the bird’s-in-eye view. Such indexing is instancelevel and attribute-level. In particular, when integrated with a large language model, IVLMap demonstrates the capability to i) transform natural language into navigation targets with instance and attribute information, enabling precise localization, and ii) accomplish zero-shot end-to-end navigation tasks based on natural language commands. Extensive navigation experiments are conducted. Simulation results illustrate that our method can achieve an average improvement of 14.4% in navigation accuracy. Code and demo are released at https://ivlmap.github.io/. Abstract abstract செய்திகள் I. உச்சரிப்பு ஒரு முதியவன் பாதாளங்களைத் தாண்டும் தன் மந்திரக்கோலால் சாய்த்தபடியிருக்கிறான் நாட்சத்திரங்களை. .............................................................................................................................................................................. இது எத்தனையாவது [...] இந்நிலையில், R2R, REVERIE [6], மற்றும் SOON [7] இல் உள்ளவற்றைப் போலவே, VLN இன் அடிப்படையில் இரண்டு பிரிவுகளாக பிரிக்கப்படலாம், இது தொடர்பான மற்றும் தொடர்ச்சியான அம்சங்களில் நுழைவாயில் நுழைவாயில் நுழைவாயில் நுழைவாயில் நுழைவாயில் நுழைவாயில் நுழைவாயில் நுழைவாயில் நுழைவாயில் நுழைவாயில் நுழைவாயில் நுழைவாயில் நுழைவாயில் நுழைவாயில் VLN இன் அடிப்படையில், R2R-CE [8] மற்றும் RxRCE [9] இல் உள்ளவர்களில் VLN இன் அடிப்படையில் நுழைவாயில் நுழைவாயில் நுழைவாயில் நு ஒரு முதியவன் பாதாளங்களைத் தாண்டும் தன் மந்திரக்கோலால் சாய்த்தபடியிருக்கிறான் நாட்சத்திரங்களை. .............................................................................................................................................................................. இது எத்தனையாவது [...] இந்த அறிக்கையில், இந்த முயற்சியில் ஈடுபடுவதற்காக, நாங்கள் ஒரு புதிய வழிமுறை, ஆங்கிலத்தில் Instance-aware Visual Language Map (IVLMap) என்று கூறுகிறோம், அங்கு, IVLMap RGBD video data with a specially designed natural language map indexing in the bird's-in-eye view. Such indexing is instance-level and attribute-level. This way, IVLMap can well separate different instances within the same category. When integrated with a large language model, it demonstrates the ability to i) transform natural language navigation into targets with instance and attribute information, enabling precise localization, and ii) accomplish zero-shot end-to-end navigation tasks based on natural language commands. 
 
 
 
 
 
 a novel instance-level and attribute-level map in bird’sin-eye review is developed for better comprehend the environment and robot navigation planning, where the instances in map are obtained by involving region matching and label scoring to achieve the category label for each SAM [10]-segmented mask, while the color attribute labels for each mask are also obtained by using the similar approach. 
 
 leveraging IVLMap, we propose a two-step method for locating landmarks. This involves an initial coarsegrained localization of the corresponding mask, followed by a fine-grained localization and navigation within the mask’s designated region. 
 
 we established an interactive data collection platform, achieving real-time controllable data acquisition. This not only reduced data volume but also enhanced reconstruction efficiency. Furthermore, we conducted experiments in a real-world environment, providing valuable insights for the practical deployment of this method. கொழும்பில் நடைபெற்ற LankaPay Technnovation விருதுகள் வழங்கும் நிகழ்வில், ‘The Best Common ATM Acquirer of the year - Category C’ என்ற பிரிவில் DFCC வங்கி வெற்றியாளராக தெரிவானது. II. தொடர்பான வேலை இந்நிலையில், இந்நிலையில், இந்நிலையில், பல்வேறு தரப்பினரும், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள், அதிகாரிகள் Semantic Mapping. ஒரு முதியவன் பாதாளங்களைத் தாண்டும் தன் மந்திரக்கோலால் சாய்த்தபடியிருக்கிறான் நாட்சத்திரங்களை. .............................................................................................................................................................................. இது எத்தனையாவது [...] Instance Segmentation ஒரு முதியவன் பாதாளங்களைத் தாண்டும் தன் மந்திரக்கோலால் சாய்த்தபடியிருக்கிறான் நாட்சத்திரங்களை. .............................................................................................................................................................................. இது எத்தனையாவது [...] Vision-and-Language Navigation(VLN) Large Language Models (LLMs) play a pivotal role in VLN, evident in NavGPT’s reasoning capabilities [23]. LM-Nav uses GPT-3 for parsing instructions and navigating landmarks [4]. VELMA extends LLMs to street level navigation, enriching AI in complex urban environments [24]. Vemprala et al.’s integration of ChatGPT into robotics applications and PaLM-E’s multimodal reasoning with visual and textual inputs [25], [26] influence our project, where we achieved accurate navigation using LLMs guided by natural language. LLM used in VLN. 
 
 இந்த ஆவணங்கள் CC by 4.0 Deed (Attribution 4.0 International) License கீழ் கிடைக்கின்றன. இந்த ஆவணங்கள் CC by 4.0 Deed (Attribution 4.0 International) License கீழ் கிடைக்கின்றன. Archive இல் கிடைக்கும்

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

இந்த ஆடியோ கதையின் அசல் மொழியில் தயாரிக்கப்பட்டது!

இந்த AI Mapping System Robots உலகத்தை பார்க்க அனுமதிக்கிறது

About Author

கருத்துகள்

ஹேங் டேக்குகள்

இந்த கட்டுரையில் வழங்கப்பட்டது

Related Stories

Meet Miro: HackerNoon Company of the Week

Meet Tailscale: HackerNoon Company of the Week

Meet Timescale: HackerNoon Company of the Week

Meet Neo4j: HackerNoon Company of the Week

Meet Miro: HackerNoon Company of the Week

Meet Tailscale: HackerNoon Company of the Week

Meet Timescale: HackerNoon Company of the Week

Meet Neo4j: HackerNoon Company of the Week

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps