
 
 
 
 
 
 লেখক : (১) জিয়াউই হুয়াং, সিনিয়র, আইইইইইওই; (২) হংটয়াও জং, সিনিয়র, আইইইইইওই; (3) Mingbo Zhao, সিনিয়র, IEEE; (৪) ওয়া জোয়া, সিনিয়র, আইইইইইওই। Authors: (১) জিয়াউই হুয়াং, সিনিয়র, আইইইইইওই; (২) হংটয়াও জং, সিনিয়র, আইইইইইওই; (3) Mingbo Zhao, সিনিয়র, IEEE; (৪) ওয়া জোয়া, সিনিয়র, আইইইইইওই। বামপন্থী টেবিল Abstract এবং I. Introduction ii. সম্পর্কিত কাজ ৩. পদ্ধতি ৪. পরীক্ষা V. উপসংহার, স্বীকৃতি এবং রেফারেন্স ২. অ্যাপ্লিকেশন —Vision-and-Language Navigation (VLN) is a challenging task that requires a robot to navigate in photo-realistic environments with human natural language promptings. Recent studies aim to handle this task by constructing the semantic spatial map representation of the environment, and then leveraging the strong ability of reasoning in large language models for generalizing code for guiding the robot navigation. However, these methods face limitations in instance-level and attribute-level navigation tasks as they cannot distinguish different instances of the same object. To address this challenge, we propose a new method, namely, Instance-aware Visual Language Map (IVLMap), to empower the robot with instance-level and attribute-level semantic mapping, where it is autonomously constructed by fusing the RGBD video data collected from the robot agent with special-designed natural language map indexing in the bird’s-in-eye view. Such indexing is instancelevel and attribute-level. In particular, when integrated with a large language model, IVLMap demonstrates the capability to i) transform natural language into navigation targets with instance and attribute information, enabling precise localization, and ii) accomplish zero-shot end-to-end navigation tasks based on natural language commands. Extensive navigation experiments are conducted. Simulation results illustrate that our method can achieve an average improvement of 14.4% in navigation accuracy. Code and demo are released at https://ivlmap.github.io/. Abstract অবরোধ I. প্রবর্তন একটি রোবট এজেন্ট যা মানব ভাষা বুঝতে পারে এবং বুদ্ধিমানভাবে ন্যাভিগেশন করতে পারে তাই মানব সমাজের জন্য গুরুত্বপূর্ণ। এই উদ্দেশ্যে, দৃষ্টি এবং ভাষা ন্যাভিগেশন (VLN) গত কয়েক বছর ধরে বিকাশ করা হয়েছে, যা একটি রোবট এজেন্টকে প্রাকৃতিক ভাষা নির্দেশাবলী অনুযায়ী ফটো-প্রাকৃতিক পরিবেশে ন্যাভিগেশন করার ক্ষমতা দেয়, যেমন "তৃতীয় চেয়ারে ন্যাভিগেশন" বা "গাঁও সোফায় ন্যাভিগেশন" [2], [3]. এই উদ্দেশ্যে রোবট এজেন্টকে মানব থেকে প্রাকৃতিক ভাষা ব্যাখ্যা করতে, তার দৃশ্যমান পরিবেশটি অনুভব করতে এবং তথ্য ব্যবহার করতে প্রয়োজন, যেখানে একটি গুরুত্বপূর্ণ সাধারণত, ন্যাভিগেশন পরিবেশের উপর ভিত্তি করে, VLN প্রায় দুটি বিভাগে বিভক্ত করা যেতে পারে, যার মধ্যে আলাদা এবং ক্রমাগত পরিবেশে ন্যাভিগেশন অন্তর্ভুক্ত করা যায়। আলাদা পরিবেশে, যেমন R2R [2], REVERIE [6], এবং SOON [7], VLN একটি টপোলজি গঠন হিসাবে ধারণা করা যেতে পারে যা সংযুক্ত নৌকা নোডগুলি অন্তর্ভুক্ত করে। এজেন্ট একটি সংযোগ গ্রাফ ব্যবহার করে উপস্থিত নোডগুলির মধ্যে একটি দিক নির্বাচন করে; বিপরীতভাবে, R2R-CE [8] এবং RxRCE [9] এর মতো ক্রমাগত পরিবেশে VLN এজেন্টদের ন্যাভিগেশনগুলির মধ্যে টেলিপোর্ডিং করার পরিবর্তে চিত্র 1 এ চিত্রিত উদাহরণটি গ্রহণ করুন, যেখানে ভাষা নির্দেশটি হল "টেবিলের পাশের চতুর্থ কালো চেয়ারে ন্যাভিগেশন"। এই কমান্ডটি সম্পাদন করার জন্য, আমরা প্রথমে টেবিলের সমস্ত উদাহরণগুলি চিহ্নিত করার জন্য পুরো রুমটি অনুসন্ধান করি, তাদের রঙ বৈশিষ্ট্যগুলি অতিক্রম করি। পরে, আমরা কমান্ডে উল্লিখিত নির্দিষ্ট কালো রঙের সাথে চতুর্থ টেবিলের অবস্থানটি অবস্থান করি। এই ধরনের ন্যাভিগেশন কাজটি সম্পন্ন করা সহজেই সম্ভব হয় যদি আমরা দৃশ্যের একটি গ্লোবাল মানচিত্র আছে, এবং মানচিত্রটি প্রতিটি বস্তুর সম্পর্কে তথ্য অন্তর্ভুক্ত এই কাগজে, এই চ্যালেঞ্জটি মোকাবেলা করার জন্য, আমরা একটি নতুন পদ্ধতি প্রস্তাব করি, যেমন, ইনস্ট্যান্স-ভিত্তিক ভাষা মানচিত্র (IVLMap), যা রোবটকে ইনস্ট্যান্স-ভিত্তিক ম্যাপিং এবং অক্ষর-ভিত্তিক সিমেন্টিক ম্যাপিং দিয়ে সক্ষম করবে, যেখানে IVLMap স্বাধীনভাবে RGBD ভিডিও ডেটাকে একটি বিশেষভাবে ডিজাইন করা প্রাকৃতিক ভাষা মানচিত্র ইন্ডেক্সিংয়ের সাথে সংমিশ্রণ করে তৈরি করা হয়। এই ধরনের ইন্ডেক্সিং ইনস্ট্যান্স-ভিত্তিক এবং অক্ষর-ভিত্তিক। এই ভাবে, IVLMap একই বিভাগের মধ্যে বিভিন্ন ইনস্ট্যান্সগুলি ভালভাবে আলাদা করতে পারে। 
 
 
 
 
 
 a novel instance-level and attribute-level map in bird’sin-eye review is developed for better comprehend the environment and robot navigation planning, where the instances in map are obtained by involving region matching and label scoring to achieve the category label for each SAM [10]-segmented mask, while the color attribute labels for each mask are also obtained by using the similar approach. 
 
 leveraging IVLMap, we propose a two-step method for locating landmarks. This involves an initial coarsegrained localization of the corresponding mask, followed by a fine-grained localization and navigation within the mask’s designated region. 
 
 we established an interactive data collection platform, achieving real-time controllable data acquisition. This not only reduced data volume but also enhanced reconstruction efficiency. Furthermore, we conducted experiments in a real-world environment, providing valuable insights for the practical deployment of this method. এই কাজের বাকি অংশটি নিম্নলিখিতভাবে সংগঠিত হয়: দ্বিতীয় বিভাগে, আমরা কিছু সম্পর্কিত কাজ পর্যালোচনা করব; III বিভাগে, আমরা প্রস্তাবিত IVLMAP উপস্থাপনের জন্য বিস্তারিত বর্ণনা দেব। ii. সম্পর্কিত কাজ সিমেন্টিক ম্যাপিং অগ্রগতি, কনভিউশনাল নিউরাল নেটওয়ার্ক (সিএনএন) [11] এবং ঘন সিমেন্টাল লোকালাইজেশন এবং ম্যাপিং (এসএলএম) [12] এর ইন্টিগ্রেশন দ্বারা চালিত, উল্লেখযোগ্যভাবে অগ্রগতি হয়েছে. SLAM++ [13] একটি বস্তুর দিকনির্দেশিত SLAM পদ্ধতি চালু করেছে যা পূর্ববর্তী জ্ঞানগুলি ব্যবহার করে। পরবর্তী গবেষণায়, উদাহরণস্বরূপ, [14], 3D ভলিমেট্রিক মানচিত্রে উদাহরণ স্তরের সিমেন্টিক্সের জন্য MaskRCNN ব্যবহার করে। Semantic Mapping. ভিএইচএনতে ইনস্ট্যান্স স্তরের সেগমাইজেশন অর্জন গুরুত্বপূর্ণ, যার জন্য অনুরূপ বস্তুগুলির নির্দিষ্ট বস্তুগুলির সঠিক সনাক্তকরণ এবং অবস্থান প্রয়োজন। উদ্ভাবনী গবেষণা [16] নির্দিষ্ট সনাক্তকরণের ধাপগুলি ছাড়াই মানব বস্তুগুলির সেগমাইজেশন সমাধান করে। রিয়েল টাইম সমাধান [17] একটি স্পেসিয়াল মনোযোগ গাইড ম্যাস্ক (এসএজি-ম্যাস্ক) শাখা প্রবর্তন করে। Instance Segmentation সাম্প্রতিক বছরগুলোতে ভিআইএমনেটের মতো মডেলগুলিতে ব্যাপক ডোমেইন জ্ঞান প্রসারিত করার জন্য বড় ধরনের প্রশিক্ষণ প্রয়োগ করে এমন গবেষকদের দ্বারা উত্সাহিত ভিআইএমনেটের গুরুত্বপূর্ণ অগ্রগতি দেখা গেছে [18]. ফিউশন চ্যালেঞ্জগুলি মোকাবেলা করার জন্য, ভিআইএম-নেট সঠিক ন্যাভিগেশন জন্য দৃশ্যমান এবং ভাষাগত তথ্য সমন্বয় করে [19]. ডাবল মনোযোগের প্রক্রিয়া এবং স্থানীয় মেমরি সহ Talk2Nav মত উদ্ভাবনগুলি দীর্ঘ দূরত্বের ভিআইএমনেটের সমাধান করে [20]. চ্যালেঞ্জগুলি অব্যাহত থাকে, যার মধ্যে অদৃশ্য বস্তুগুলি Vision-and-Language Navigation(VLN) বড় ভাষা মডেল (এলএলএম) VLN মধ্যে একটি গুরুত্বপূর্ণ ভূমিকা পালন করে, NavGPT এর যুক্তি ক্ষমতা দ্বারা প্রমাণিত হয় [23]. LM-Nav নির্দেশাবলী বিশ্লেষণ এবং জায়গা প্রদর্শন করার জন্য GPT-3 ব্যবহার করে [4]. VELMA রাস্তার স্তরের ন্যাভিগেশনতে এলএলএম প্রসারিত করে, জটিল শহুরে পরিবেশে এআই সমৃদ্ধ করে [24]. Vemprala ইত্যাদি মত গবেষণা রোবটিক অ্যাপ্লিকেশনের মধ্যে ChatGPT এর ইন্টিগ্রেশন এবং PaLM-E এর মাল্টিমোডাল যুক্তি সঙ্গে ভিজুয়াল এবং টেক্সটাল ইনপুট [25], [26] আমাদের প্রকল্প প্রভাবিত LLM used in VLN. 
 
 এই কাগজটি CC by 4.0 Deed (Attribution 4.0 International) লাইসেন্সের অধীনে আর্কাইভে পাওয়া যায়। এই কাগজটি CC by 4.0 Deed (Attribution 4.0 International) লাইসেন্সের অধীনে। আর্কাইভ উপলব্ধ আর্কাইভ উপলব্ধ

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

গল্পের মূল ভাষায় এই অডিও তৈরি!

এই AI ম্যাপিং সিস্টেম রোবটদের পৃথিবী দেখতে দেয়

About Author

মন্তব্য

আসে ট্যাগ

এই নিবন্ধটি উপস্থাপন করা হয়েছে

Related Stories

ক্লাউড সনেট 3.5 সিস্টেম প্রম্পট লিক: একটি ফরেনসিক বিশ্লেষণ

অদেখা স্তরগুলি: কেন ব্যবহারকারীর সাক্ষাত্কারগুলি একটি অপরিবর্তনীয় সম্পদ

কিভাবে 10X দ্বারা আপনার কর্মপ্রবাহ উন্নত করবেন: 17টি প্রয়োজনীয় অ্যাপ

ডিজিটাল যাযাবর শুনুন: থাইল্যান্ডের নতুন ডিটিভি ভিসা সম্পর্কে আপনার যা জানা দরকার

ক্লাউড সনেট 3.5 সিস্টেম প্রম্পট লিক: একটি ফরেনসিক বিশ্লেষণ

অদেখা স্তরগুলি: কেন ব্যবহারকারীর সাক্ষাত্কারগুলি একটি অপরিবর্তনীয় সম্পদ

কিভাবে 10X দ্বারা আপনার কর্মপ্রবাহ উন্নত করবেন: 17টি প্রয়োজনীয় অ্যাপ

ডিজিটাল যাযাবর শুনুন: থাইল্যান্ডের নতুন ডিটিভি ভিসা সম্পর্কে আপনার যা জানা দরকার

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps