
 
 
 
 
 
 Autori : (1) Jiacui Huang, Senior, IEEE; (2) Hongtao Zhang, stariji, IEEE; (3) Mingbo Zhao, Senior, IEEE; (4) Wu Zhou, stariji, IEEE Authors: (1) Jiacui Huang, Senior, IEEE; (2) Hongtao Zhang, stariji, IEEE; (3) Mingbo Zhao, Senior, IEEE; (4) Wu Zhou, stariji, IEEE Levo od stola Abstrakcija i I. Uvod II. Povezani radovi III. Metoda Četvrti eksperiment V. Zaključak, priznanja i reference VI. Prilog —Vision-and-Language Navigation (VLN) is a challenging task that requires a robot to navigate in photo-realistic environments with human natural language promptings. Recent studies aim to handle this task by constructing the semantic spatial map representation of the environment, and then leveraging the strong ability of reasoning in large language models for generalizing code for guiding the robot navigation. However, these methods face limitations in instance-level and attribute-level navigation tasks as they cannot distinguish different instances of the same object. To address this challenge, we propose a new method, namely, Instance-aware Visual Language Map (IVLMap), to empower the robot with instance-level and attribute-level semantic mapping, where it is autonomously constructed by fusing the RGBD video data collected from the robot agent with special-designed natural language map indexing in the bird’s-in-eye view. Such indexing is instancelevel and attribute-level. In particular, when integrated with a large language model, IVLMap demonstrates the capability to i) transform natural language into navigation targets with instance and attribute information, enabling precise localization, and ii) accomplish zero-shot end-to-end navigation tasks based on natural language commands. Extensive navigation experiments are conducted. Simulation results illustrate that our method can achieve an average improvement of 14.4% in navigation accuracy. Code and demo are released at https://ivlmap.github.io/. Abstract Abstrakcija I. Uvod Razvoj robota koji može surađivati s ljudima je od velikog značaja u mnogim realnim aplikacijama, kao što su Telsa Optimus, Mobile ALOHA [1], itd. Robotski agent koji može razumjeti ljudski jezik i inteligentno ploviti stoga je značajan u korist ljudskog društva. U tu svrhu, Vision-and-Language Navigation (VLN) je razvijen u proteklih nekoliko godina, što je da osnaži robotski agent za plovidbu u foto-realističkim okruženjima prema prirodnim instrukcijama jezika, kao što je „navigacija do treće stolice” ili „navigacija do žute sofe” [2], [3]. To zahtijeva da robotski agent može tumačiti prirodni jezik od ljudi, percipirati svoje vizualno okruženje i koristiti informacije za navigaciju, gde je ključno pitanje kako Općenito, na osnovu okruženja za navigaciju, VLN se može otprilike podijeliti u dve kategorije, koje uključuju navigaciju u diskretnim i kontinuiranim okruženjima. U diskretnim okruženjima, kao što su one u R2R [2], REVERIE [6], i SOON [7], VLN je konceptualiziran kao topološka struktura sastavljena od međusobno povezanih plutajućih čvorova. Agent koristi grafikon povezanosti za kretanje između susjednih čvorova odabirom pravca iz raspoloživih plutajućih smjerova; za razliku od VLN-a u kontinuiranim okruženjima, kao što su oni u R2R-CE [8] i RxRCE [9], omogućuju agentima da imaju fleksibilnost za navigaciju do bilo koje neob Uzmimo primer prikazan na Fig.1, gde je instrukcija jezika da se „navigira do četvrte crne stolice preko tabele“. Da bismo izvršili ovu naredbu, prvo istražujemo čitavu sobu kako bismo identificirali sve slučajeve tabela, izvlačeći njihove atribute boja. Zatim, lokalizujemo poziciju četvrte tabele sa navedenom crnom bojom spomenutom u komandi. Dovršavanje takvog navigacijskog zadatka postaje lako ostvarivo ako imamo globalnu mapu scene, a karta bi trebala sadržavati informacije o svakom objektu, uključujući njegovu kategoriju, detalje, boju, itd Nedavno, VLMap [5] pionira inovativnu prostornu navigaciju sa nultom hitom izgradnjom semantičkih karata putem indeksiranja vizualnih znamenitosti koristeći prirodni jezik. U ovom članku, kako bismo odgovorili na ovaj izazov, predlažemo novu metodu, naime, Instance-aware Visual Language Map (IVLMap), kako bi se robotu omogućilo semantičko kartiranje na razini instance i atribut, u kojem se IVLMap autonomno izgrađuje spajanjem RGBD video podataka sa specijalno dizajniranim indeksiranjem prirodnog jezika u pogledu ptica. Takvo indeksiranje je na razini instance i atribut. Na ovaj način, IVLMap može dobro odvojiti različite instance unutar iste kategorije. Kada je integrisan s velikim jezikovnim modelom, pokazuje sposobnost da i) pretvori prirodne jezike u navigacijske ciljeve s informacijama o instanci i atributu, omogućujući preciznu lokalizaciju, i ii) izvrši 
 
 
 
 
 
 a novel instance-level and attribute-level map in bird’sin-eye review is developed for better comprehend the environment and robot navigation planning, where the instances in map are obtained by involving region matching and label scoring to achieve the category label for each SAM [10]-segmented mask, while the color attribute labels for each mask are also obtained by using the similar approach. 
 
 leveraging IVLMap, we propose a two-step method for locating landmarks. This involves an initial coarsegrained localization of the corresponding mask, followed by a fine-grained localization and navigation within the mask’s designated region. 
 
 we established an interactive data collection platform, achieving real-time controllable data acquisition. This not only reduced data volume but also enhanced reconstruction efficiency. Furthermore, we conducted experiments in a real-world environment, providing valuable insights for the practical deployment of this method. Ostatak ovog rada je organiziran kako slijedi: U odjeljku II, pregledat ćemo neki srodni rad; u odjeljku III, dati ćemo detaljan opis za prezentaciju predloženog IVLMAP. II. Povezani radovi Napredak u semantičkom kartiranju, pokrenut integracijom Convolutional Neural Networks (CNNs) [11] i dense Simultaneous Localization and Mapping (SLAM) [12], značajno je napredovao. SLAM++ [13] uveo je pristup SLAM-a usmjeren na objekte, koristeći postojeće znanje. Kasnije studije, npr. [14], koriste MaskRCNN za semantiku na razini primera u 3D volumetrskim mapama. VLMaps [5] i NLMaps-Saycan [15] uvode predstavke scene koje se mogu pretraživati kroz prirodni jezik, koristeći Visual Language Models (VLMs). Dok se prethodne studije fokusiraju na semantičke detalje, naš rad naglašava točnost segmentacije na razini piksela, precizno kategoriziraju Semantic Mapping. Postignuće segmentacije na razini slučaja je ključno u VLN-u, što zahtijeva preciznu identifikaciju i lokaciju pojedinih slučajeva sličnih objekata. Inovativno istraživanje [16] rješava segmentaciju ljudskih slučajeva bez različitih faza detekcije. Rešenja u realnom vremenu [17] uvode granu SAG-Mask (Spatial Attention-Guided Mask). Meta AI-jev Segment Anything Model (SAM) [10] izvršava brzu segmentaciju, omogućujući generaliziranje sa nultim hitom na nepoznate objekte. SAM-ova segmentacija objekata maske, iako je moćna, nema maskovanje pojedinačnog označivanja, što ograničava praktične aplikacije. Instance Segmentation Posljednjih godina videli smo značajan napredak u VLN-u, pod pokroviteljstvom istraživača poput Y. Long et al., koji su primenili obuku na velikoj razini kako bi uneli opsežno znanje o domenama u modele kao što je VIMNet [18]. Rješavajući izazove fuzijskog rešenja, VIM-Net kritički podudara vizualne i jezične informacije za preciznu navigaciju [19]. Inovacije poput Talk2Nav, sa dvostrukim mehanizmima pažnje i prostornom memorijom, rješavaju dugoročne VLN-ove [20]. I dalje postoje izazovi, uključujući navigaciju nevidljivih objekata, precizno tumačenje jezičnih opisa, personaliziranje navigacije za atribute objekata i upravljanje zahtjevima za navigaciju od kraja do kraja [5], [21] Vision-and-Language Navigation(VLN) Veliki jezički modeli (LLM) igraju ključnu ulogu u VLN-u, očiglednu u sposobnostima razmatranja NavGPT-a [23]. LM-Nav koristi GPT-3 za analiziranje uputa i navigaciju referentnim točkama [4]. VELMA proširuje LLM-ove na navigaciju na nivou ulice, obogaćujući AI u kompleksnim urbanim okruženjima [24]. Studije poput Vemprala et al. integracije ChatGPT-a u robotičke aplikacije i PaLM-E-ovog multimodalnog razmatranja sa vizualnim i tekstualnim ulazima [25], [26] utječu na naš projekat, gde smo postigli preciznu navigaciju koristeći LLM-ove vođene prirodnim jezikom. LLM used in VLN. 
 
 Ovaj dokument je dostupan na arhivu pod licencom CC by 4.0 Deed (Attribution 4.0 International). Ovaj papir je pod licencom CC by 4.0 Deed (Attribution 4.0 International). Dostupno u Arhivu Dostupno u Arhivu

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Ovaj audio je proizveden na originalnom jeziku priče!

Ovaj AI mapping sistem omogućuje robotima da vide svet

About Author

KOMENTARI

HANG TAGS

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps