
 
 
 
 
 
 អ្នកនិពន្ធ : លោក Jiacui Huang, លោក IEEE ។ (2) លោក Hongtao Zhang, ខ្ពស់, IEEE ។ (3) ក្រុមហ៊ុន Mingbo Zhao, Senior, IEEE ។ (4) លោក Wu Zhou, អ្នកជោគជ័យ, IEEE ។ Authors: លោក Jiacui Huang, លោក IEEE ។ (2) លោក Hongtao Zhang, ខ្ពស់, IEEE ។ (3) ក្រុមហ៊ុន Mingbo Zhao, Senior, IEEE ។ (4) លោក Wu Zhou, អ្នកជោគជ័យ, IEEE ។ កុំព្យូទ័រ សៀវភៅអ៊ីនធឺណិត I. Introduction ការធ្វើការដែលមានភ្ជាប់ លក្ខខណ្ឌ 4 ការធ្វើតេស្ត V. ការបញ្ជាក់, ការទទួលស្គាល់និងការបង្ហាញ សៀវភៅអត្ថបទ —Vision-and-Language Navigation (VLN) is a challenging task that requires a robot to navigate in photo-realistic environments with human natural language promptings. Recent studies aim to handle this task by constructing the semantic spatial map representation of the environment, and then leveraging the strong ability of reasoning in large language models for generalizing code for guiding the robot navigation. However, these methods face limitations in instance-level and attribute-level navigation tasks as they cannot distinguish different instances of the same object. To address this challenge, we propose a new method, namely, Instance-aware Visual Language Map (IVLMap), to empower the robot with instance-level and attribute-level semantic mapping, where it is autonomously constructed by fusing the RGBD video data collected from the robot agent with special-designed natural language map indexing in the bird’s-in-eye view. Such indexing is instancelevel and attribute-level. In particular, when integrated with a large language model, IVLMap demonstrates the capability to i) transform natural language into navigation targets with instance and attribute information, enabling precise localization, and ii) accomplish zero-shot end-to-end navigation tasks based on natural language commands. Extensive navigation experiments are conducted. Simulation results illustrate that our method can achieve an average improvement of 14.4% in navigation accuracy. Code and demo are released at https://ivlmap.github.io/. Abstract សៀវភៅ I. ការអនុម័ត ការអភិវឌ្ឍប្លាស្ទិចដែលអាចធ្វើការជាមួយមនុស្សគឺមានសំខាន់ណាស់នៅក្នុងកម្មវិធីពិតប្រាកដជាច្រើនដូចជា Telsa Optimus, Mobile ALOHA [1], ល។ ឧបករណ៍ប្លាស្ទិចដែលអាចអនុម័តភាសាមនុស្សនិងដំណើរការដោយគួរឱ្យចាប់អារម្មណ៍ដូច្នេះមានប្រសិទ្ធភាពក្នុងការទទួលបានអត្ថប្រយោជន៍ដល់សហគមន៍របស់មនុស្ស។ សម្រាប់គោលបំណងនេះ, Vision-and-Language Navigation (VLN) ត្រូវបានអភិវឌ្ឍក្នុងរយៈពេលប៉ុន្មានឆ្នាំចុងក្រោយដែលជាការអនុញ្ញាតឱ្យឧបករណ៍ប្លាស្ទិចដំណើរការនៅក្នុងបរិស្ថានរូបភាពពិតប្រាកដដូចជាប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស្ទិចប្លាស ជាទូទៅ, ដោយផ្អែកលើបរិស្ថានសម្រាប់ការទូទាត់, VLN អាចត្រូវបានចែកចាយឡើងទៅជាប្រភេទពីរដែលរួមបញ្ចូលទាំងការទូទាត់នៅក្នុងបរិស្ថានផ្សេងគ្នានិងទូទាត់។ នៅក្នុងបរិស្ថានផ្សេងគ្នានិងដូចជានៅក្នុង R2R [2], REVERIE [6], និង SOON [7], VLN ត្រូវបានគេស្គាល់ថាជារចនាសម្ព័ន្ធ topology ដែលមានរចនាសម្ព័ន្ធដែលមានរចនាសម្ព័ន្ធទូទាត់ផ្សេងគ្នានិងការទូទាត់។ អេក្រង់ប្រើក្រាហ្វិកទំនាក់ទំនងដើម្បីផ្លាស់ប្តូររចនាសម្ព័ន្ធផ្សេងគ្នានៅក្នុងរចនាសម្ព័ន្ធផ្សេងគ្នានៅក្នុងរចនាសម្ព័ន្ធទូទាត់ដោយជ្រើស គោលបំណងនេះត្រូវបានអនុវត្តដើម្បីពិនិត្យឡើងវិញទំហំទាំងអស់នៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវការនៃតម្រូវ នៅក្នុងសៀវភៅនេះយើងបានផ្តល់ជូននូវវិធីសាស្រ្តថ្មីមួយដែលមានគោលបំណងដើម្បីបញ្ចូលគោលបំណងនេះ, ដូចជាកំណត់គោលបំណង Visual Language Map (IVLMap) ដែលមានគោលបំណងដើម្បីអនុញ្ញាតឱ្យកុំព្យូទ័រមានគោលបំណងទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យ 
 
 
 
 
 
 a novel instance-level and attribute-level map in bird’sin-eye review is developed for better comprehend the environment and robot navigation planning, where the instances in map are obtained by involving region matching and label scoring to achieve the category label for each SAM [10]-segmented mask, while the color attribute labels for each mask are also obtained by using the similar approach. 
 
 leveraging IVLMap, we propose a two-step method for locating landmarks. This involves an initial coarsegrained localization of the corresponding mask, followed by a fine-grained localization and navigation within the mask’s designated region. 
 
 we established an interactive data collection platform, achieving real-time controllable data acquisition. This not only reduced data volume but also enhanced reconstruction efficiency. Furthermore, we conducted experiments in a real-world environment, providing valuable insights for the practical deployment of this method. ការធ្វើការនេះត្រូវបានរចនាឡើងដូចខាងក្រោម: នៅក្នុងផ្នែកទី II យើងនឹងពិនិត្យមើលការធ្វើការមួយចំនួនដែលមានន័យ; នៅក្នុងផ្នែកទី III យើងនឹងផ្តល់លក្ខណៈពិសេសពិសេសសម្រាប់ការបង្ហាញ IVLMAP ដែលបានផ្តល់ជូន។ ការធ្វើតេស្តទូលំទូលំទូលាយត្រូវបានធ្វើឡើងនៅក្នុងផ្នែកទី IV និងការបញ្ជាក់ចុងក្រោយត្រូវបានបង្ហាញនៅក្នុងផ្នែកទី V ។ ការធ្វើការដែលមានប្រសិទ្ធិភាព ការអភិវឌ្ឍនៅក្នុងការកំណត់សម្គាល់, ដែលបានបង្កើតឡើងដោយការរួមបញ្ចូលនៃបណ្តាញអេឡិចត្រូនិក (CNNs) [11] និងការកំណត់សម្គាល់និងកំណត់សម្គាល់ (SLAM) [12], បានអភិវឌ្ឍយ៉ាងខ្លាំង។ SLAM++ [13] បានបង្កើតវិធីសាស្រ្ត SLAM ដែលមានគោលបំណងជាអេឡិចត្រូនិកដោយប្រើការប្រើប្រាស់ពិសោធន៍ដែលមានមុន។ ការសិក្សាបន្ទាប់ដូច្នេះ [14] បានប្រើ MaskRCNN សម្រាប់ការសម្គាល់ទំហំឧទាហរណ៍នៅក្នុងកំណត់សម្គាល់ទំហំ 3D ។ VLMaps [5] និង NLMaps-Saycan [15] បានបង្កើតការបង្ហាញកំណត់សម្គាល់ដែលអាចរកបានតាមរយៈភាសាធម្មជាតិដោយប្រើម៉ូ Semantic Mapping. ការកំណត់ទំហំទំហំទំហំទំហំទំហំគឺជាការសំខាន់នៅក្នុង VLN ដែលត្រូវការកំណត់ពិសេសនិងកំណត់ទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំ Instance Segmentation ក្នុងឆ្នាំចុងក្រោយបានមើលឃើញការកើនឡើងសំខាន់នៅក្នុង VLN ដែលត្រូវបានអនុវត្តដោយអ្នកស្រាវជ្រាវដូចជា Y. Long et al. ដែលបានប្រើការបណ្តុះបណ្តាលទូលំទូលាយដើម្បីបណ្តុះបណ្តាលជំនាញវិជ្ជាជីវៈទូលំទូលាយនៅក្នុងម៉ូដែលដូចជា VIMNet [18] ។ ការដោះស្រាយបញ្ហានៃការដោះស្រាយ, VIM-Net មានការបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្ត Vision-and-Language Navigation(VLN) LM-Nav ប្រើ GPT-3 សម្រាប់ការកំណត់ការណែនាំនិងដំណើរការទីផ្សារ [4]. VELMA បានបន្ថែម LLMs ទៅការដំណើរការនៅលើផ្លូវការ, ការអត្ថប្រយោជន៍ AI ក្នុងបរិស្ថានទីក្រុងដែលមានភាពងាយស្រួល [24] ។ ការសិក្សាដូចជាការរួមបញ្ចូល ChatGPT នៅក្នុងកម្មវិធីបូដបូដបូដនិងការដំណើរការរចនានៃ PaLM-E ជាមួយនឹងការបញ្ចូលរូបភាពនិងអត្ថបទ [25] [26] មានប្រសិទ្ធិភាពក្នុងគម្រោងរបស់យើង, នៅពេលដែលយើងបានទទួលបានការដំណើរការត្រឹមត្រូវដោយប្រើ LLMs ដែលត្រូវបានដំណើរការដោយភាសាធម្មជាតិ។ LLM used in VLN. 
 
 សៀវភៅនេះអាចរកបាននៅលើ archiv នៅក្រោមការអនុញ្ញាត CC by 4.0 Deed (Attribution 4.0 International) ។ សៀវភៅនេះអាចរកបាននៅលើ archiv នៅក្រោមការអនុញ្ញាត CC by 4.0 Deed (Attribution 4.0 International) ។ អាសយដ្ឋាន Archive

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

សំឡេងនេះផលិតជាភាសាដើមនៃរឿង!

ប្រព័ន្ធម៉ាក AI នេះអនុញ្ញាតឱ្យកុំព្យូទ័រមើលពិភពលោក

About Author

មតិយោបល់

ព្យួរស្លាក

អត្ថបទនេះត្រូវបានបង្ហាញនៅក្នុង

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps