
 
 
 
 
 
 Los autores: (1) Jiacui Huang, Senior, IEEE; (2) Hongtao Zhang, Senior, IEEE; (3) Mingbo Zhao, Senior, IEEE; (4) Wu Zhou, Senior, IEEE. Authors: (1) Jiacui Huang, Senior, IEEE; (2) Hongtao Zhang, Senior, IEEE; (3) Mingbo Zhao, Senior, IEEE; (4) Wu Zhou, Senior, IEEE. Mesa de la izquierda Abstracto y I. Introducción II. Trabajo relacionado III. Método IV. El experimento V. Conclusión, reconocimientos y referencias VI. Apéndice —Vision-and-Language Navigation (VLN) is a challenging task that requires a robot to navigate in photo-realistic environments with human natural language promptings. Recent studies aim to handle this task by constructing the semantic spatial map representation of the environment, and then leveraging the strong ability of reasoning in large language models for generalizing code for guiding the robot navigation. However, these methods face limitations in instance-level and attribute-level navigation tasks as they cannot distinguish different instances of the same object. To address this challenge, we propose a new method, namely, Instance-aware Visual Language Map (IVLMap), to empower the robot with instance-level and attribute-level semantic mapping, where it is autonomously constructed by fusing the RGBD video data collected from the robot agent with special-designed natural language map indexing in the bird’s-in-eye view. Such indexing is instancelevel and attribute-level. In particular, when integrated with a large language model, IVLMap demonstrates the capability to i) transform natural language into navigation targets with instance and attribute information, enabling precise localization, and ii) accomplish zero-shot end-to-end navigation tasks based on natural language commands. Extensive navigation experiments are conducted. Simulation results illustrate that our method can achieve an average improvement of 14.4% in navigation accuracy. Code and demo are released at https://ivlmap.github.io/. Abstract Abstracción I. Introducción DESARROLLO de un robot que puede cooperar con los humanos es de gran importancia en muchas aplicaciones del mundo real, como Telsa Optimus, Mobile ALOHA [1], etc. Un agente robótico que puede entender el lenguaje humano y navegar de manera inteligente es, por lo tanto, significativo para beneficiar a la sociedad humana. Para este fin, la Navegación de visión y lenguaje (VLN) se ha desarrollado durante los últimos años, que es capacitar a un agente robótico para navegar en entornos foto-realistas de acuerdo con las instrucciones del lenguaje natural, como “navegar a la tercera silla” o “navegar al sofá amarillo” [2], [3]. Esto requiere que el agente robótico pueda interpretar el lenguaje natural de los humanos, percibir su entorno visual, y utilizar la información para navegar, donde un En general, en base a los entornos de navegación, el VLN se puede dividir en dos categorías, que incluyen la navegación en entornos discretos y continuos. En entornos discretos, como los de R2R [2], REVERIE [6], y SOON [7], el VLN es conceptualizado como una estructura topológica compuesta de nodos navegables interconectados. El agente utiliza un gráfico de conectividad para moverse entre nodos adyacentes seleccionando una dirección de las direcciones navegables disponibles; en contraste, los VLN en entornos continuos, como los de R2R-CE [8] y RxRCE [9], permiten a los agentes tener la flexibilidad de navegar a cualquier punto sin obstrucción utilizando un conjunto de acciones de bajo nivel (por ejemplo, avanzar 0,25 Tomemos el ejemplo ilustrado en la Figura 1, donde la instrucción del idioma es “navegar a la cuarta silla negra a través de la tabla”. Para ejecutar este comando, inicialmente exploramos toda la habitación para identificar todas las instancias de las tablas, extrayendo sus atributos de color. Posteriormente, localizamos la posición de la cuarta tabla con el color negro especificado mencionado en el comando. Completando una tarea de navegación se hace fácilmente posible si tenemos un mapa global de la escena, y el mapa debe incluir información sobre cada objeto, incluyendo su categoría, detalles, color, etc. Recientemente, VLMap [5] pioneros de la navegación espacial innovadora de cero disparos mediante la construcción de mapas semánticos mediante la indexación de puntos de referencia visuales usando el lenguaje natural. Sin embargo, VLMap En este artículo, para abordar este desafío, proponemos un nuevo método, es decir, el Mapa de Lengua Visual consciente de instancia (IVLMap), para empoderar al robot con mapeo semántico a nivel de instancia y nivel de atributo, donde el IVLMap se construye de forma autónoma mediante la fusión de los datos de vídeo RGBD con un índice de mapa de lengua natural especialmente diseñado en la vista de ave. Este índice es a nivel de instancia y nivel de atributo. De esta manera, IVLMap puede separar bien diferentes instancias dentro de la misma categoría. Cuando se integra con un gran modelo de lengua, demuestra la capacidad de i) transformar los objetivos de navegación de lengua natural en información de instancia y atributo, permitiendo una localización precisa, y ii) realizar tareas de navegación 
 
 
 
 
 
 a novel instance-level and attribute-level map in bird’sin-eye review is developed for better comprehend the environment and robot navigation planning, where the instances in map are obtained by involving region matching and label scoring to achieve the category label for each SAM [10]-segmented mask, while the color attribute labels for each mask are also obtained by using the similar approach. 
 
 leveraging IVLMap, we propose a two-step method for locating landmarks. This involves an initial coarsegrained localization of the corresponding mask, followed by a fine-grained localization and navigation within the mask’s designated region. 
 
 we established an interactive data collection platform, achieving real-time controllable data acquisition. This not only reduced data volume but also enhanced reconstruction efficiency. Furthermore, we conducted experiments in a real-world environment, providing valuable insights for the practical deployment of this method. El resto de este trabajo está organizado de la siguiente manera: en la Sección II, revisaremos algunos trabajos relacionados; en la Sección III, daremos la descripción detallada para presentar el IVLMAP propuesto. II. Trabajo relacionado Los avances en el mapeo semántico, impulsados por la integración de las Redes Neurales Convolucionales (CNN) [11] y la Localización Simultánea Desa (SLAM) [12], han progresado significativamente. SLAM++ [13] introdujo un enfoque SLAM orientado a objetos aprovechando el conocimiento preexistente. Estudios posteriores, por ejemplo, [14], usan MaskRCNN para la semántica a nivel de ejemplo en mapas volumétricos 3D. VLMaps [5] y NLMaps-Saycan [15] introducen representaciones de escena consultables a través del lenguaje natural, utilizando modelos de lenguaje visual (VLMs). Mientras que los estudios previos se centran en detalles semánticos, nuestro trabajo enfatiza la precisión de la segmentación a nivel de píxeles, categorizando Semantic Mapping. El logro de la segmentación a nivel de instancia es crucial en VLN, lo que requiere la identificación precisa y la localización de las instancias individuales de objetos similares. La investigación innovadora [16] aborda la segmentación de la instancia humana sin etapas de detección distintas. Las soluciones en tiempo real [17] introducen una rama de la máscara guiada por la atención espacial (SAG-Mask). El Modelo de cualquier cosa del segmento (SAM) de Meta AI [10] sobresale en la segmentación rápida, permitiendo la generalización de disparo cero a objetos desconocidos. Instance Segmentation Los últimos años han visto avances significativos en VLN, impulsados por investigadores como Y. Long et al., que emplearon un entrenamiento a gran escala para imbuir amplios conocimientos de dominio en modelos como VIMNet [18]. Al abordar los desafíos de fusión, VIM-Net combina críticamente la información visual y lingüística para una navegación precisa [19]. Innovaciones como Talk2Nav, con mecanismos de doble atención y memoria espacial, abordan VLN de largo alcance [20]. Los desafíos persisten, incluyendo la navegación por objetos invisibles, la interpretación precisa de las descripciones del lenguaje, la personalización de la navegación para atributos de objetos y la gestión de los requisitos de datos para la navegación end-to-end [5], [21], [22]. Vision-and-Language Navigation(VLN) Los grandes modelos de idiomas (LLM) desempeñan un papel clave en VLN, lo que resulta evidente en las capacidades de razonamiento de NavGPT [23]. LM-Nav utiliza GPT-3 para analizar instrucciones y navegar por los hitos [4]. VELMA extiende los LLM a la navegación en el nivel de la calle, enriquecendo la IA en entornos urbanos complejos [24]. Estudios como la integración de ChatGPT en aplicaciones de robótica de Vemprala et al. y el razonamiento multimodal de PaLM-E con entradas visuales y textuales [25], [26] influyen en nuestro proyecto, donde logramos una navegación precisa utilizando LLMs guiados por el lenguaje natural. LLM used in VLN. 
 
 Este artículo está disponible en archivo bajo la licencia CC by 4.0 Deed (Attribution 4.0 International). Este documento es Con la licencia CC 4.0 Deed (Attribution 4.0 International). Disponible en Archivo Disponible en Archivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Este audio es producido en el idioma original de la historia!

Este sistema de mapeo de IA permite a los robots ver el mundo

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps