
 
 
 
 
 
 De auteurs: (1) Jiacui Huang, Senior, IEEE; (2) Hongtao Zhang, Senior, IEEE; (3) Mingbo Zhao, Senior, IEEE; (4) Wu Zhou, Senior, IEEE. Authors: (1) Jiacui Huang, Senior, IEEE; (2) Hongtao Zhang, Senior, IEEE; (3) Mingbo Zhao, Senior, IEEE; (4) Wu Zhou, Senior, IEEE. Tafel links Abstract en I. Inleiding II. Gerelateerde werkzaamheden III. De methode IV. Het experiment V. Conclusie, erkenningen en referenties VI. Bijlage —Vision-and-Language Navigation (VLN) is a challenging task that requires a robot to navigate in photo-realistic environments with human natural language promptings. Recent studies aim to handle this task by constructing the semantic spatial map representation of the environment, and then leveraging the strong ability of reasoning in large language models for generalizing code for guiding the robot navigation. However, these methods face limitations in instance-level and attribute-level navigation tasks as they cannot distinguish different instances of the same object. To address this challenge, we propose a new method, namely, Instance-aware Visual Language Map (IVLMap), to empower the robot with instance-level and attribute-level semantic mapping, where it is autonomously constructed by fusing the RGBD video data collected from the robot agent with special-designed natural language map indexing in the bird’s-in-eye view. Such indexing is instancelevel and attribute-level. In particular, when integrated with a large language model, IVLMap demonstrates the capability to i) transform natural language into navigation targets with instance and attribute information, enabling precise localization, and ii) accomplish zero-shot end-to-end navigation tasks based on natural language commands. Extensive navigation experiments are conducted. Simulation results illustrate that our method can achieve an average improvement of 14.4% in navigation accuracy. Code and demo are released at https://ivlmap.github.io/. Abstract Abstractie I. Inleiding Een robotagent dat menselijke taal kan begrijpen en intelligent kan navigeren is daarom belangrijk om de menselijke samenleving ten goede te komen. Daartoe is de Vision-and-Language Navigation (VLN) in de afgelopen jaren van groot belang, wat is om een robotagent in staat te stellen te navigeren in fotorealistische omgevingen volgens natuurlijke taalinstructies, zoals "navigeren naar de derde stoel" of "navigeren naar de gele bank" [2], [3]. Dit vereist dat de robotagent de natuurlijke taal van mensen kan interpreteren, zijn visuele omgeving kan waarnemen en de informatie kan gebruiken om te navigeren, waar een belangrijk probleem is hoe de bezochte omgeving te structureren en wereldwijde planning te maken. Om dit geval te beheren, gebruiken een paar recente benaderingen [4] de topologische structuur voor de kaart. Maar deze method In het algemeen, op basis van de omgevingen voor navigatie, kan de VLN grofweg worden onderverdeeld in twee categorieën, waaronder navigatie in discrete en continue omgevingen. In discrete omgevingen, zoals die in R2R [2], REVERIE [6], en SOON [7], wordt de VLN geconceptueerd als een topologie structuur bestaande uit onderling verbonden drijvende knooppunten. De agent maakt gebruik van een connectiviteit grafiek om te bewegen tussen aangrenzende knooppunten door een richting te selecteren uit de beschikbare drijvende richtingen; in tegenstelling, VLN in continue omgevingen, zoals die in R2R-CE [8] en RxRCE [9], stellen de agenten in staat om de flexibiliteit om te navigeren naar een onbelemmerd Neem het voorbeeld geïllustreerd in Figuur.1, waar de taalinstructie is om te "navigeren naar de vierde zwarte stoel aan de overkant van de tafel". Om deze opdracht uit te voeren, verkennen we in eerste instantie de hele kamer om alle voorbeelden van tabellen te identificeren, hun kleurattributen te extraheren. Daarna lokaliseren we de positie van de vierde tabel met de gespecificeerde zwarte kleur vermeld in de opdracht. Het voltooien van een dergelijke navigatie taak wordt gemakkelijk haalbaar als we een wereldwijde kaart van de scène hebben, en de kaart moet informatie bevatten over elk object, waaronder zijn categorie, details, kleur, etc. Onlangs, VLMap [5] pionier innovatieve zero-shot ruimtevaart door het bouwen Semantische kaarten via het index In dit artikel, om deze uitdaging aan te pakken, stellen we een nieuwe methode voor, namelijk Instance-aware Visual Language Map (IVLMap), om de robot in staat te stellen met instantien-niveau en attribuut-niveau semantische mapping, waarbij de IVLMap autonoom wordt geconstrueerd door de RGBD-videogegevens te fuseren met een speciaal ontworpen natuurlijke taalkaart-indexering in de vogel-in-eye-weergave. Dergelijke indexering is instantien-niveau en attribuut-niveau. Op deze manier kan IVLMap verschillende instanties binnen dezelfde categorie goed scheiden. Wanneer geïntegreerd met een groot taalmodel, toont het de mogelijkheid om i) natuurlijke taalnavigatie in doelen te transformeren met instantie- en att 
 
 
 
 
 
 a novel instance-level and attribute-level map in bird’sin-eye review is developed for better comprehend the environment and robot navigation planning, where the instances in map are obtained by involving region matching and label scoring to achieve the category label for each SAM [10]-segmented mask, while the color attribute labels for each mask are also obtained by using the similar approach. 
 
 leveraging IVLMap, we propose a two-step method for locating landmarks. This involves an initial coarsegrained localization of the corresponding mask, followed by a fine-grained localization and navigation within the mask’s designated region. 
 
 we established an interactive data collection platform, achieving real-time controllable data acquisition. This not only reduced data volume but also enhanced reconstruction efficiency. Furthermore, we conducted experiments in a real-world environment, providing valuable insights for the practical deployment of this method. De rest van dit werk is als volgt georganiseerd: in afdeling II zullen we een aantal aanverwante werkzaamheden bekijken; in afdeling III zullen we de gedetailleerde beschrijving geven voor de presentatie van het voorgestelde IVLMAP. II. Gerelateerde werkzaamheden Vooruitgang in semantische mapping, gedreven door de integratie van Convolutional Neural Networks (CNNs) [11] en dichte Simultaneous Localization and Mapping (SLAM) [12], hebben aanzienlijk vooruitgang geboekt. SLAM++ [13] introduceerde een object-georiënteerde SLAM-benadering die gebruik maakt van bestaande kennis. latere studies, bv. [14], gebruiken MaskRCNN voor voorbeeldniveau semantiek in 3D-volumetrische kaarten. VLMaps [5] en NLMaps-Saycan [15] introduceren scenerepresentaties die kunnen worden opgevraagd door middel van natuurlijke taal, met behulp van Visual Language Models (VLMs). Terwijl eerdere studies zich richten op semantische details, benadrukt ons werk de precisie Semantic Mapping. Het bereiken van segmentatie op instantienniveau is cruciaal in VLN, wat een nauwkeurige identificatie en locatie van individuele instanties van soortgelijke objecten vereist. Innovatief onderzoek [16] behandelt segmentatie van menselijke instanties zonder onderscheidende detectiefasen. Real-time oplossingen [17] introduceren een Spatial Attention-Guided Mask (SAG-Mask) tak. Instance Segmentation De afgelopen jaren zijn er aanzienlijke vooruitgang geboekt in VLN, aangedreven door onderzoekers zoals Y. Long et al., die grootschalige trainingen hebben toegepast om uitgebreide domeinkennis in modellen zoals VIMNet [18] aan te brengen. Het aanpakken van fusie-uitdagingen, VIM-Net kritisch matches visuele en taalinformatie voor nauwkeurige navigatie [19]. Innovaties zoals Talk2Nav, met dubbele aandacht mechanismen en ruimtelijke geheugen, aan te pakken langetermijn VLN [20]. Uitdagingen blijven bestaan, waaronder het navigeren van onzichtbare objecten, het nauwkeurig interpreteren van taalbeschrijvingen, het personaliseren van navigatie voor objectattributen en het beheren van data-intensieve vereisten voor end-to-end Vision-and-Language Navigation(VLN) Grote taalmodellen (LLM's) spelen een sleutelrol in VLN, duidelijk in de redeneringsmogelijkheden van NavGPT [23]. LM-Nav gebruikt GPT-3 voor het analyseren van instructies en het navigeren van landmarks [4]. VELMA breidt LLM's uit tot streetlevel navigatie, waardoor AI in complexe stedelijke omgevingen wordt verrijkt [24]. Studies zoals Vemprala et al.'s integratie van ChatGPT in robotica-toepassingen en PaLM-E's multimodale redenering met visuele en tekstinputs [25], [26] beïnvloeden ons project, waar we nauwkeurige navigatie hebben bereikt met behulp van LLM's geleid door natuurlijke taal. LLM used in VLN. 
 
 Dit document is verkrijgbaar onder CC by 4.0 Deed (Attribution 4.0 International) licentie. Dit document is verkrijgbaar onder CC by 4.0 Deed (Attribution 4.0 International) licentie. Beschikbaar in het archief

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Deze audio wordt geproduceerd in de originele taal van het verhaal!

Dit AI-mappingssysteem laat robots de wereld zien

About Author

OPMERKINGEN

LABELS

DIT ARTIKEL WERD GEPRESENTEERD IN

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps