
 
 
 
 
 
 المؤلفين : (1) جاكوي هوانغ، العمراني، IEEE؛ (2) Hongtao Zhang ، العمراني ، IEEE ؛ (3) Mingbo Zhao ، العمراني ، IEEE ؛ (4) Wu Zhou ، العمراني ، IEEE. Authors: (1) جاكوي هوانغ، العمراني، IEEE؛ (2) Hongtao Zhang ، العمراني ، IEEE ؛ (3) Mingbo Zhao ، العمراني ، IEEE ؛ (4) Wu Zhou ، العمراني ، IEEE. طاولة اليسار أوبتيون I. إدراج 2 - الأعمال ذات الصلة 3 - الطريقة 4 – التجربة V. النتائج والتعليقات والمقالات 6 - المرفق —Vision-and-Language Navigation (VLN) is a challenging task that requires a robot to navigate in photo-realistic environments with human natural language promptings. Recent studies aim to handle this task by constructing the semantic spatial map representation of the environment, and then leveraging the strong ability of reasoning in large language models for generalizing code for guiding the robot navigation. However, these methods face limitations in instance-level and attribute-level navigation tasks as they cannot distinguish different instances of the same object. To address this challenge, we propose a new method, namely, Instance-aware Visual Language Map (IVLMap), to empower the robot with instance-level and attribute-level semantic mapping, where it is autonomously constructed by fusing the RGBD video data collected from the robot agent with special-designed natural language map indexing in the bird’s-in-eye view. Such indexing is instancelevel and attribute-level. In particular, when integrated with a large language model, IVLMap demonstrates the capability to i) transform natural language into navigation targets with instance and attribute information, enabling precise localization, and ii) accomplish zero-shot end-to-end navigation tasks based on natural language commands. Extensive navigation experiments are conducted. Simulation results illustrate that our method can achieve an average improvement of 14.4% in navigation accuracy. Code and demo are released at https://ivlmap.github.io/. Abstract abstract I. إدراج إن تطوير روبوت قادر على التعاون مع البشر هو أهمية كبيرة في العديد من التطبيقات في العالم الحقيقي ، مثل Telsa Optimus ، Mobile ALOHA [1] ، وما إلى ذلك ، وهو عامل روبوت قادر على فهم اللغات البشرية وتنقل الذكاء هو وبالتالي مهم في نفع المجتمع البشري. في هذا الاتجاه ، تم تطوير الرسوم البيانية الضوئية (VLN) خلال السنوات القليلة الماضية ، والتي من شأنها أن تتمكن من تثبيت جهاز روبوت في بيئات واقعية بصورة طبيعية ، مثل "التثبيت إلى القاعة الثالثة" أو "التثبيت إلى القاعة الزرقاء" [2] ، [3]. وهذا يتطلب من المساعد الروبوت أن يكون قادرًا على تفسير اللغات الطبيعية من البشر ، والتعرف على بيئته البيئية وبالإضافة إلى ذلك، فإن VLN يمكن أن يتم تقسيمها إلى فئات مختلفة، والتي تشمل الترقية في بيئات متباينة ومستمرة. في بيئات متباينة، مثل تلك في R2R [2]، REVERIE [6]، و SOON [7]، فإن VLN يتم تصورها كجزء من الهيكل التقليدي الذي يتكون من الأقمار المطاطية المتصلة. يستخدم العميل كاميرا الاتصال لتحرك بين الأقمار المجاورة عن طريق اختيار الاتجاه من الاتجاهات المطاطية المتاحة، وبالتالي فإن VLN في البيئات المستمرة، مثل تلك في R2R-CE [8]، وRxRCE [9]، يتيح للعملاء القدرة على الترقية إلى أي نقطة غير مسبوقة باستخدام مجموعة من الأفعال على مستوى أسفل (على سب اتخذنا مثالًا يظهر في الصورة 1 حيث يتم تعريف اللغة "التنقل إلى القاعة الرابعة السوداء من القاعة" لتنفيذ هذه الخطوة، ونحن في البداية نستعرض جميع الوجهات من القاعة، والتخلص من خصائص الألوان. بعد ذلك، ونحن نجد وضع القاعة الرابعة مع الألوان السوداء المحددة المعروفة في القاعة. إنجاز مثل هذه المهمة التنقلية يصبح سهلاً إذا كان لدينا خريطة عالمية من المسرح، ويجب أن تتضمن الخريطة معلومات عن كل موضوع، بما في ذلك الفئة، والتفاصيل، والألوان، وما إلى ذلك. في الآونة الأخيرة، أطلقت VLMap [5] إرشادات جديدة للتنقل الفضائي على الأقل عن طريق بناء الخرائط السماتية عبر تصفية في هذه المقالة، من أجل حل هذه التحديات، نقترح طريقة جديدة، وهي خطوط اللغة المرئية المعروفة بالطبع (IVLMap)، لتمكين الروبوت من تكوين خرائط معيّنة على المستوى الحقيقي ومستوى الخصائص، حيث يتم بناء IVLMap بشكل مستقل عن طريق دمج بيانات الفيديو RGBD مع خرائط لغة طبيعية مصممة خصيصاً في وجه الطيور. وهذه التكوينات هي على المستوى الحقيقي ومستوى الخصائص. بهذه الطريقة، يمكن IVLMap تقسيم الاختصاصات المختلفة في نفس الفئة بشكل جيد. عندما يتم دمجها مع نموذج لغة كبيرة، فإنها تظهر القدرة على (أ) تحويل لغات اللغات الطبيعية إلى محطات التنقل 
 
 
 
 
 
 a novel instance-level and attribute-level map in bird’sin-eye review is developed for better comprehend the environment and robot navigation planning, where the instances in map are obtained by involving region matching and label scoring to achieve the category label for each SAM [10]-segmented mask, while the color attribute labels for each mask are also obtained by using the similar approach. 
 
 leveraging IVLMap, we propose a two-step method for locating landmarks. This involves an initial coarsegrained localization of the corresponding mask, followed by a fine-grained localization and navigation within the mask’s designated region. 
 
 we established an interactive data collection platform, achieving real-time controllable data acquisition. This not only reduced data volume but also enhanced reconstruction efficiency. Furthermore, we conducted experiments in a real-world environment, providing valuable insights for the practical deployment of this method. يتم تنظيم بقية هذه العملية كما هو الحال: في القسم الثاني، سنقوم بتقييم بعض الأعمال ذات الصلة؛ في القسم الثالث، سنقوم بتقديم وصف مفصل لتصميم IVLMAP المقترح. يتم إجراء محاكاة واسعة في القسم الرابع، وتتبع النتائج النهائية في القسم الخامس. 2 - الأعمال ذات الصلة وقد ارتفعت التقدمات في التخزين السمعي، التي تمارسها التكامل بين شبكات العصبية التفاعلية (CNNs) [11] وارتفاعات التخزين السمعي البصري (SLAM) [12]، بشكل كبير. SLAM++ [13] قدم نهج SLAM متكامل يعتمد على المعرفة الموجودة سابقًا. دراسات ما بعدها، على سبيل المثال، [14]، استخدم MaskRCNN لتخزين المستويات على المستوى الحقيقي في الخرائط الضوئية 3D. VLMaps [5] و NLMaps-Saycan [15] تقدم صورة السيناريوهات التي يمكن البحث عنها من خلال لغة طبيعية، باستخدام نموذج لغة المرآة (VLMs). في حين أن الدراسات السابقة تركز على التفاصيل السمعية، Semantic Mapping. إن الوصول إلى تقسيم مستويات الحالة أمر حاسم في VLN ، مما يتطلب تحديدًا دقيقًا ومكانة فصول فردية من أشكال مماثلة.تطوير مبتكر [16] يلجأ إلى تقسيم الحالة البشرية دون مراحل اكتشاف متماثلة.إلغاءات في الوقت الحقيقي [17] تزويد بمصطلح SAG-Mask.مشروع Segment Anything Model (SAM) لـ Meta AI [10] يمتاز بتقسيم سريع، مما يسمح بتقسيم أجزاء غير مألوفة إلى أشكال غير مألوفة. Instance Segmentation وقد شهدت السنوات الماضية تحولًا كبيرًا في VLN، وهو ما دفع الباحثين مثل Y. Long et al. إلى استخدام التدريب على نطاق واسع لتوفير المعرفة على نطاق واسع من المجالات في النماذج مثل VIMNet [18]. للتغلب على التحديات التي تواجه التدمير، تتوافق VIM-Net بشكل إيجابي مع المعلومات المرئية واللغوية للتنقل دقيقة [19]. تطورات مثل Talk2Nav، مع آليات الاهتمام المزدوجة والذاكرة الإقليمية، تتعامل مع VLN على نطاق واسع [20]. لا تزال التحديات متباعدة، بما في ذلك تنقل الأشياء غير المرئية، وتفسير توصيات اللغات بشكل دقيق، وتخصيص تخصيص بيانات ل Vision-and-Language Navigation(VLN) يلعب نموذج اللغة الكبيرة (LLMs) دورًا رئيسيًا في VLN ، مما يشير إلى قدرة NavGPT على التفكير [23]. يستخدم LM-Nav GPT-3 لتحديث الإرشادات والتنقل من الأهداف [4]. VELMA تطوير LLMs إلى التنقل على مستوى الشارع ، مما يزيد من القدرة على التحكم في الذكاء الاصطناعي في بيئات المدينة المعقدة [24] . LLM used in VLN. 
 
 هذه المقالة متوفرة في archiv تحت سياسة CC by 4.0 Deed (Attribution 4.0 International). هذه الرسالة هي تحت رخصة CC by 4.0 Deed (Attribution 4.0 International). متوفرة في Archive متوفرة في Archive

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

تم إنتاج هذا الصوت باللغة الأصلية للقصة!

نظام تشخيص الذكاء الاصطناعي يتيح للروبوتين رؤية العالم

About Author

تعليقات

شنق العلامات

تم تقديم هذه المقالة في

Related Stories

Noonies Nominee and Lead Product Designer Avrora Shuhalii on Writing, Tech, and More

Top 4 Hiring Trends for Mobile App Developers in 2018

Top Web Development Companies in 2018

Top Ecommerce Development Companies

Noonies Nominee and Lead Product Designer Avrora Shuhalii on Writing, Tech, and More

Top 4 Hiring Trends for Mobile App Developers in 2018

Top Web Development Companies in 2018

Top Ecommerce Development Companies

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps