
 
 
 
 
 
 Autorių : (1) Jiacui Huang, vyresnysis, IEEE; (2) Hongtao Zhang, vyresnysis, IEEE; (3) Mingbo Zhao, vyresnysis, IEEE; (4) Wu Zhou, vyresnysis, IEEE Authors: (1) Jiacui Huang, vyresnysis, IEEE; (2) Hongtao Zhang, vyresnysis, IEEE; (3) Mingbo Zhao, vyresnysis, IEEE; (4) Wu Zhou, vyresnysis, IEEE Stalas kairėje Abstrakcija ir I. Įvadas II. Susiję darbai III. Metodas IV Eksperimentas V. Išvada, pripažinimai ir nuorodos VI. Priedėlis —Vision-and-Language Navigation (VLN) is a challenging task that requires a robot to navigate in photo-realistic environments with human natural language promptings. Recent studies aim to handle this task by constructing the semantic spatial map representation of the environment, and then leveraging the strong ability of reasoning in large language models for generalizing code for guiding the robot navigation. However, these methods face limitations in instance-level and attribute-level navigation tasks as they cannot distinguish different instances of the same object. To address this challenge, we propose a new method, namely, Instance-aware Visual Language Map (IVLMap), to empower the robot with instance-level and attribute-level semantic mapping, where it is autonomously constructed by fusing the RGBD video data collected from the robot agent with special-designed natural language map indexing in the bird’s-in-eye view. Such indexing is instancelevel and attribute-level. In particular, when integrated with a large language model, IVLMap demonstrates the capability to i) transform natural language into navigation targets with instance and attribute information, enabling precise localization, and ii) accomplish zero-shot end-to-end navigation tasks based on natural language commands. Extensive navigation experiments are conducted. Simulation results illustrate that our method can achieve an average improvement of 14.4% in navigation accuracy. Code and demo are released at https://ivlmap.github.io/. Abstract Abstrakcijos I. Įvadas ROBOTAS, kuris gali bendradarbiauti su žmonėmis, yra labai svarbus daugelyje realaus pasaulio programų, tokių kaip Telsa Optimus, Mobile ALOHA [1] ir kt. Roboto agentas, kuris gali suprasti žmogaus kalbą ir protingai naršyti, todėl yra svarbus žmogaus visuomenės naudai. Šiuo tikslu per pastaruosius kelerius metus buvo sukurta „Vision-and-Language Navigation“ (VLN), kuri yra suteikti robotui galimybę naršyti fotorealistinėje aplinkoje pagal natūralias kalbos instrukcijas, pvz., „nuvažiuoti į trečiąją kėdę“ arba „nuvažiuoti į geltoną sofą“ [2], [3]. Tai reikalauja, kad robotas agentas galėtų aiškinti natūralią kalbą iš žmonių, suvokti savo vizualinę aplinką ir panaudoti informaciją Apskritai, atsižvelgiant į navigacijos aplinką, VLN gali būti maždaug suskirstytas į dvi kategorijas, kurios apima navigaciją atskirose ir nuolatinėse aplinkose. Diskretinėse aplinkose, pvz., R2R [2], REVERIE [6] ir SOON [7], VLN konceptualizuojamas kaip topologinė struktūra, kurią sudaro tarpusavyje sujungti plūduriuojantys mazgai. Agentas naudoja ryšio grafiką judėti tarp gretimų mazgų, pasirinkdamas kryptį iš turimų plūduriuojamų krypčių; priešingai, VLN nuolatinėse aplinkose, pvz., R2R-CE [8] ir RxRCE [9], leidžia agentams lanksčiai naršyti į bet kurį netrukdomą tašką, naudojant žemo lygio veiksmų r Paimkime paveikslėlyje.1 pavaizduotą pavyzdį, kur kalbos instrukcija yra „nuvažiuoti į ketvirtą juodą kėdę per lentelę“. Norėdami įvykdyti šią komandą, mes iš pradžių tyrinėjame visą kambarį, kad nustatytume visus lentelių atvejus, ištraukdami jų spalvų atributus. Vėliau, mes nustatome ketvirtos lentelės padėtį su nurodyta juoda spalva, nurodyta komandoje. Tokios navigacijos užduoties užbaigimas tampa lengvai pasiekiamas, jei turime pasaulinį scenos žemėlapį, o žemėlapyje turėtų būti informacija apie kiekvieną objektą, įskaitant jo kategoriją, detales, spalvą ir tt Neseniai VLMap [5] pradėjo novatorišką nulinio šūvio erdvės navigaciją Šiame dokumente, siekiant išspręsti šį iššūkį, siūlome naują metodą, būtent Instance-aware Visual Language Map (IVLMap), kad robotas galėtų naudotis instance-level ir attribute-level semantic mapping, kur IVLMap yra savarankiškai konstruojamas sujungiant RGBD vaizdo duomenis su specialiai suprojektuotu natūralios kalbos žemėlapio indeksavimu paukščio-in-eye požiūriu. Toks indeksavimas yra instance-level ir attribute-level. Tokiu būdu, IVLMap gali gerai atskirti skirtingas instancijas toje pačioje kategorijoje. Kai integruojamas su dideliu kalbos modeliu, jis demonstruoja gebėjimą i) transformuoti natūralią kalbą į navigacijos tikslus su instance ir 
 
 
 
 
 
 a novel instance-level and attribute-level map in bird’sin-eye review is developed for better comprehend the environment and robot navigation planning, where the instances in map are obtained by involving region matching and label scoring to achieve the category label for each SAM [10]-segmented mask, while the color attribute labels for each mask are also obtained by using the similar approach. 
 
 leveraging IVLMap, we propose a two-step method for locating landmarks. This involves an initial coarsegrained localization of the corresponding mask, followed by a fine-grained localization and navigation within the mask’s designated region. 
 
 we established an interactive data collection platform, achieving real-time controllable data acquisition. This not only reduced data volume but also enhanced reconstruction efficiency. Furthermore, we conducted experiments in a real-world environment, providing valuable insights for the practical deployment of this method. Likęs šis darbas yra organizuotas taip: II skyriuje apžvelgsime kai kuriuos susijusius darbus; III skyriuje pateiksime išsamų siūlomų IVLMAP pateikimo aprašymą. II. Susijęs darbas Semantinio žemėlapių kūrimo pažanga, kurią skatina konvolucinių neuroninių tinklų (CNN) [11] ir tankios sinchroninės lokalizacijos ir žemėlapių kūrimo (SLAM) [12] integracija, žymiai išaugo. SLAM++ [13] įvedė objektinį SLAM požiūrį, naudojant iš anksto egzistuojančias žinias. Vėlesni tyrimai, pvz., [14], naudoja MaskRCNN pavyzdžių lygio semantikai 3D tūrio žemėlapiuose. VLMaps [5] ir NLMaps-Saycan [15] pristato scenos atstovavimus, kuriuos galima ieškoti per natūralią kalbą, naudojant vizualinės kalbos modelius (VLM). Nors ankstesni tyrimai orientuojasi į semantines detales, mūsų darbas pabr Semantic Mapping. VLN labai svarbu pasiekti instancinio lygio segmentaciją, reikalaujant tiksliai identifikuoti ir rasti atskirus panašių objektų egzempliorius. Inovatyvūs tyrimai [16] sprendžia žmogaus egzempliorių segmentaciją be atskirų aptikimo etapų. „Real-time“ sprendimai [17] įveda erdvės dėmesio vedamos kaukės (SAG-Mask) šaką. „Meta AI“ Segment Anything Model (SAM) [10] puikiai tinka greitam segmentavimui, leidžiančiam nulinį apibendrinimą nepažįstamiems objektams. Instance Segmentation Pastaraisiais metais VLN pastebėjo reikšmingą pažangą, kurią paskatino tokie mokslininkai kaip Y. Long ir kt., kurie naudojo didelio masto mokymus, kad įsisavintų išsamias domeno žinias tokiuose modeliuose kaip VIMNet [18]. Sprendžiant sintezės iššūkius, VIM-Net kritiškai atitinka vizualinę ir kalbinę informaciją tiksliai navigacijai [19]. Naujovės, tokios kaip Talk2Nav, su dvigubais dėmesio mechanizmais ir erdvinė atmintis, sprendžia ilgo nuotolio VLN [20]. Iššūkiai išlieka, įskaitant nematytų objektų navigaciją, kalbos aprašymų aiškinimą tiksliai, objektų atributų navigacijos personalizavimą ir duomenų intensyvių reikalavimų valdymą Vision-and-Language Navigation(VLN) Dideli kalbos modeliai (LLM) atlieka svarbų vaidmenį VLN, kuris yra akivaizdus NavGPT motyvacijos galimybėmis [23]. LM-Nav naudoja GPT-3 analizuoti instrukcijas ir naršyti taškus [4]. VELMA išplečia LLM į gatvės lygio navigaciją, praturtindama AI sudėtingose miesto aplinkose [24]. Tyrimai, tokie kaip Vemprala ir kt. integravimas ChatGPT į robotikos programas ir PaLM-E daugiarūšis motyvacija su vizualiniais ir tekstiniais įrašais [25], [26] įtakoja mūsų projektą, kur mes pasiekėme tikslią navigaciją naudojant LLM vadovaujamą natūraliąja kalba. LLM used in VLN. 
 
 Šis dokumentas yra prieinamas archyve pagal CC by 4.0 Deed (Attribution 4.0 International) licenciją. Šis popierius yra Pagal CC by 4.0 Deed (Attribution 4.0 International) licenciją. Prieinama archyve Prieinama archyve

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Šis garso įrašas sukurtas originalia istorijos kalba!

Ši AI žemėlapių sistema leidžia robotams pamatyti pasaulį

About Author

KOMENTARAI

PABAIGTI ŽYMES

ŠIS STRAIPSNIS BUVO PRISTATYMAS

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps