Autores:  (1) An Yan, UC San Diego, ayan@ucsd.edu;  (2) Zhengyuan Yang, Microsoft Corporation, zhengyang@microsoft.com con contribuciones iguales;  (3) Wanrong Zhu, UC Santa Bárbara, wanrongzhu@ucsb.edu;  (4) Kevin Lin, Microsoft Corporation, keli@microsoft.com;  (5) Linjie Li, Microsoft Corporation, lindsey.li@mocrosoft.com;  (6) Jianfeng Wang, Microsoft Corporation, jianfw@mocrosoft.com;  (7) Jianwei Yang, Microsoft Corporation, jianwei.yang@mocrosoft.com;  (8) Yiwu Zhong, Universidad de Wisconsin-Madison, yzhong52@wisc.edu;  (9) Julian McAuley, Universidad de California en San Diego, jmcauley@ucsd.edu;  (10) Jianfeng Gao, Microsoft Corporation, jfgao@mocrosoft.com;  (11) Zicheng Liu, Microsoft Corporation, zliu@mocrosoft.com;  (12) Lijuan Wang, Microsoft Corporation, lijuanw@mocrosoft.com.   Nota del editor: Esta es la segunda parte de 13 de un artículo que evalúa el uso de una IA generativa para navegar en teléfonos inteligentes. Puede leer el resto del artículo a través de la tabla de enlaces que aparece a continuación.  Tabla de enlaces   Resumen y 1 Introducción   2 Trabajos relacionados  Navegador 3MM   3.1 Formulación del problema y 3.2 Puesta a tierra de la pantalla y navegación a través del conjunto de marcas   3.3 Generación de historia mediante resumen multimodal  4. Experimento de navegación de pantalla de iOS   4.1 Configuración experimental   4.2 Descripción de la acción prevista   4.3 Ejecución de acciones localizadas y 4.4 El estado actual con GPT-4V  5. Experimento de navegación de pantalla de Android   5.1 Configuración experimental   5.2 Comparación de rendimiento   5.3 Estudios de ablación   5.4 Análisis de errores   6 Discusión   7 Conclusión y referencias  2 Trabajos relacionados    La navegación autónoma por GUI implica que un modelo siga instrucciones para maniobrar a través de diferentes interfaces gráficas de usuario, como sitios web o aplicaciones, para realizar la tarea solicitada por el usuario. Los puntos de referencia actuales recopilaron instrucciones sintéticas o generadas por el usuario del mundo real para evaluar las capacidades de los modelos para identificar elementos específicos de la IU (Shi et al., 2017; Li et al., 2020; Bai et al., 2021), o para lograr objetivos generales de la tarea mediante la interacción con una serie de vistas de GUI (Li et al., 2020; Burns et al., 2021; Venkatesh et al., 2022; Deng et al., 2023; Rawles et al., 2023). Para comprender la información visual de estas vistas de GUI, una línea de trabajo adopta una estructura de modelo que puede procesar entradas multimodales (Sun et al., 2022; Redmon et al., 2016). Otros métodos se centran en convertir el texto y los íconos de la escena de la interfaz de usuario al formato HTML de solo texto, por ejemplo, los LLM de un solo módulo pueden procesar estas entradas de texto para la navegación de la interfaz de usuario (Zhang et al., 2021; Rawles et al., 2023; Wen et al., 2023). Navegación autónoma por GUI.    Los avances recientes en LLM (Brown et al., 2020; OpenAI, 2023a; Chowdhery et al., 2022; Anil et al., 2023; Touvron et al., 2023; Hoffmann et al., 2022) han catalizado la exploración de sistemas de agentes basados en LLM (Madaan et al., 2023; Shinn et al., 2023; Pan et al., 2023; Yao et al., 2022; Schick et al., 2023; Paranjape et al., 2023; Pryzant et al., 2023; Guo et al., 2023; Zhao et al., 2023; Yang et al., 2023a), que integran lógica de razonamiento y herramientas externas para una variedad de tareas lingüísticas complejas. Inspirados por el éxito en el dominio del procesamiento del lenguaje natural, los investigadores multimodales se adentran en los agentes multimodales. La línea de investigación comienza con los agentes multimodales basados en LLM (Gupta y Kembhavi, 2023; Surís et al., 2023; Wu et al., 2023; Yang* et al., 2023; Shen et al., 2023; Lu et al., 2023; Yu et al., 2023; Li et al., 2023), como MM-ReAct (Yang* et al., 2023) para razonamiento visual avanzado y Visual ChatGPT (Wu et al., 2023) para generación y edición visual iterativas. Impulsados por los rápidos avances de los LMM (Alayrac et al., 2022; Driess et al., 2023; OpenAI, 2023a,b,c; gpt, 2023; Yang et al., 2023c; Google, 2023), los últimos estudios han comenzado a investigar los agentes multimodales potenciados por LMM (Yang et al., 2023; Liu et al., 2023), superando así la necesidad de herramientas básicas de descripción visual como los modelos de subtítulos (Wang et al., 2022a; Wu et al., 2022). Nuestra metodología propuesta representa un agente especializado basado en LMM para la navegación GUI. Nuestro objetivo es proporcionar un análisis integral y una base sólida para esta tarea. Agentes multimodales.  Este artículo está   bajo la licencia CC BY 4.0 DEED. disponible en arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

FEW SHOT .tech

Este audio es producido en el idioma original de la historia!

Conozca la IA que realmente puede usar su teléfono inteligente por usted

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps