
 
 
 
 
 
 Авторы : 1) Джакуи Хуанг, старший, IEEE; (2) Хунтао Чжан, старший, IEEE; (3) Mingbo Zhao, старший, IEEE; (4) Ву Чжоу, старший, IEEE. Authors: 1) Джакуи Хуанг, старший, IEEE; (2) Хунтао Чжан, старший, IEEE; (3) Mingbo Zhao, старший, IEEE; (4) Ву Чжоу, старший, IEEE. Стол слева Абстракт и I. Введение II. Связанная работа III. Метод IV. Эксперимент V. Заключение, признания и ссылки VI. Приложение —Vision-and-Language Navigation (VLN) is a challenging task that requires a robot to navigate in photo-realistic environments with human natural language promptings. Recent studies aim to handle this task by constructing the semantic spatial map representation of the environment, and then leveraging the strong ability of reasoning in large language models for generalizing code for guiding the robot navigation. However, these methods face limitations in instance-level and attribute-level navigation tasks as they cannot distinguish different instances of the same object. To address this challenge, we propose a new method, namely, Instance-aware Visual Language Map (IVLMap), to empower the robot with instance-level and attribute-level semantic mapping, where it is autonomously constructed by fusing the RGBD video data collected from the robot agent with special-designed natural language map indexing in the bird’s-in-eye view. Such indexing is instancelevel and attribute-level. In particular, when integrated with a large language model, IVLMap demonstrates the capability to i) transform natural language into navigation targets with instance and attribute information, enabling precise localization, and ii) accomplish zero-shot end-to-end navigation tasks based on natural language commands. Extensive navigation experiments are conducted. Simulation results illustrate that our method can achieve an average improvement of 14.4% in navigation accuracy. Code and demo are released at https://ivlmap.github.io/. Abstract абстрактный I. Введение РАЗВИТИЕ робота, который может сотрудничать с людьми, имеет большое значение во многих реальных приложениях, таких как Telsa Optimus, Mobile ALOHA [1], и т. д. Робот-агент, который может понимать человеческий язык и навигацию интеллектуально, поэтому является значительным в пользу человеческого общества. Для этой цели, Видение-и-языковой навигации (VLN) был разработан в течение последних нескольких лет, который состоит в том, чтобы дать возможность роботу агента для навигации в фото-реалистичной среде в соответствии с инструкциями естественного языка, таких как «навигация на третье кресло» или «навигация на желтый диван» [2], [3]. Это требует, что робот-агент может интерпретировать естественный язык от людей, воспринимать его визуальную среду, В целом, основываясь на средах для навигации, VLN можно примерно разделить на две категории, которые включают навигацию в дискретных и непрерывных средах. В дискретных средах, таких как в R2R [2], REVERIE [6], и SOON [7], VLN концептуализируется как топологическая структура, состоящая из взаимосвязанных плавающих узлов. Агент использует график соединения для перемещения между прилегающими узлами, выбирая направление из доступных плаваемых направлений; напротив, VLN в непрерывных средах, таких как в R2R-CE [8] и RxRCE [9], позволяют агентам иметь гибкость для навигации в любую беспрепятственную точку с использованием набора действий низкого уровня (например, двигаться вперед Возьмите пример, иллюстрированный на рисунке 1, где инструкция языка заключается в том, чтобы «навигаться до четвертого черного стула через стол». Чтобы выполнить эту команду, мы изначально исследуем всю комнату, чтобы идентифицировать все инстанции таблиц, извлекая их цветовые атрибуты. Впоследствии, мы локализуем положение четвертой таблицы с указанным черным цветом, упомянутым в команде. Завершение такой навигационной задачи становится легко достижимым, если у нас есть глобальная карта сцены, и карта должна включать информацию о каждом объекте, включая его категорию, детали, цвет и т. Д. В последнее время VLMap [5] начал инновационную нулевую пространственную навигацию, создав семантические карты с помощью индексации В этой статье, чтобы решить эту проблему, мы предлагаем новый метод, а именно, Instance-aware Visual Language Map (IVLMap), чтобы обеспечить роботу семантическое картографирование на уровне инстанций и атрибутов, где IVLMap автономно конструируется путем слияния видеоданных RGBD с специально разработанной картографией естественного языка с индексацией в виде птицы. Такая индексация является на уровне инстанций и атрибутов. Таким образом, IVLMap может хорошо разделить различные инстанции в одной категории. При интеграции с большой языковой моделью он демонстрирует способность i) преобразовать естественный язык в навигацию целей с информацией об инстанциях и атрибутах, позволяя точную локализацию, и ii) выполнять задачи навигации с нуле 
 
 
 
 
 
 a novel instance-level and attribute-level map in bird’sin-eye review is developed for better comprehend the environment and robot navigation planning, where the instances in map are obtained by involving region matching and label scoring to achieve the category label for each SAM [10]-segmented mask, while the color attribute labels for each mask are also obtained by using the similar approach. 
 
 leveraging IVLMap, we propose a two-step method for locating landmarks. This involves an initial coarsegrained localization of the corresponding mask, followed by a fine-grained localization and navigation within the mask’s designated region. 
 
 we established an interactive data collection platform, achieving real-time controllable data acquisition. This not only reduced data volume but also enhanced reconstruction efficiency. Furthermore, we conducted experiments in a real-world environment, providing valuable insights for the practical deployment of this method. Остальная часть этой работы организована следующим образом: в разделе II мы рассмотрим некоторые связанные работы; в разделе III мы дадим подробное описание для представления предлагаемой IVLMAP. II. Связанная работа Прогресс в семантическом картографировании, обусловленный интеграцией конвульсионных нейронных сетей (CNN) [11] и плотной одновременной локализации и картографирования (SLAM) [12], значительно продвинулся. SLAM++ [13] ввел объектно-ориентированный подход SLAM, использующий существующие ранее знания. Последующие исследования, например, [14], используют MaskRCNN для семантики на уровне примеров в 3D-объемных картах. VLMaps [5] и NLMaps-Saycan [15] вводят представления сцен, которые могут быть запрошены через естественный язык, используя визуальные языковые модели (VLM). В то время как предыдущие исследования фокусируются на семантических деталях, наша работа подчеркивает точность сегментации на Semantic Mapping. Достижение сегментации на уровне инстанций имеет решающее значение в VLN, требуя точной идентификации и расположения отдельных инстанций подобных объектов. Инновационные исследования [16] занимаются сегментацией человеческих инстанций без отдельных этапов обнаружения. Решения в реальном времени [17] вводят отрасль Space Attention-Guided Mask (SAG-Mask). Сегментная модель чего-либо (SAM) Meta AI [10] отличается быстрой сегментацией, позволяя нулевую генерализацию к незнакомым объектам. Instance Segmentation Последние годы показали значительный прогресс в VLN, движимый исследователями, такими как Y. Long et al., которые использовали широкомасштабное обучение для внедрения обширных знаний в модели, такие как VIMNet [18]. Решая проблемы слияния, VIM-Net критически соответствует визуальной и лингвистической информации для точной навигации [19]. Инновации, такие как Talk2Nav, с двумя механизмами внимания и пространственной памятью, справляются с VLN на большой дальности [20]. Вызовы сохраняются, включая навигацию невидимыми объектами, точную интерпретацию описаний языка, персонализацию навигации для атрибутов объектов и управление интенсивными требованиями к навигации от конца до конца [5], [21], [22]. Vision-and-Language Navigation(VLN) Большие языковые модели (LLM) играют ключевую роль в VLN, что очевидно в возможностях размышления NavGPT [23]. LM-Nav использует GPT-3 для анализа инструкций и навигации в местах [4]. VELMA распространяет LLM на навигацию на уровне улицы, обогащая ИИ в сложных городских средах [24]. Исследования, такие как интеграция Vemprala и др. ChatGPT в приложения робототехники и мультимодальное рассуждение PaLM-E с визуальными и текстовыми входами [25], [26] влияют на наш проект, где мы добились точной навигации с помощью LLM, руководствующихся естественным языком. LLM used in VLN. 
 
 Эта статья доступна в архиве под лицензией CC by 4.0 Deed (Attribution 4.0 International). Эта бумага является Лицензия CC by 4.0 Deed (Attribution 4.0 International). Доступно в архиве Доступно в архиве

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Instancing.TECH

Pioneering instance management, driving innovative solutions for efficient resource utilization, and enabling a more sus

Instancing's blog

Этот звук создан на языке оригинала истории!

Эта система картографирования AI позволяет роботам видеть мир

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Valhalla Флоки станет ассоциированным спонсором индийского тура по Шри-Ланке

Плавание по водам: разработка RAG-приложений промышленного уровня с использованием озер данных

Полное руководство по успешной миграции в облако: стратегии и лучшие практики

Создание криптопродуктов, ориентированных на пользователя: важность отзывов клиентов

Valhalla Флоки станет ассоциированным спонсором индийского тура по Шри-Ланке

Плавание по водам: разработка RAG-приложений промышленного уровня с использованием озер данных

Полное руководство по успешной миграции в облако: стратегии и лучшие практики

Создание криптопродуктов, ориентированных на пользователя: важность отзывов клиентов

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps