Autores:  (1) An Yan, UC San Diego, ayan@ucsd.edu;  (2) Zhengyuan Yang, Microsoft Corporation, zhengyang@microsoft.com con contribucións iguais;  (3) Wanrong Zhu, UC Santa Bárbara, wanrongzhu@ucsb.edu;  (4) Kevin Lin, Microsoft Corporation, keli@microsoft.com;  (5) Linjie Li, Microsoft Corporation, lindsey.li@mocrosoft.com;  (6) Jianfeng Wang, Microsoft Corporation, jianfw@mocrosoft.com;  (7) Jianwei Yang, Microsoft Corporation, jianwei.yang@mocrosoft.com;  (8) Yiwu Zhong, Universidade de Wisconsin-Madison, yzhong52@wisc.edu;  (9) Julian McAuley, UC San Diego, jmcauley@ucsd.edu;  (10) Jianfeng Gao, Microsoft Corporation, jfgao@mocrosoft.com;  (11) Zicheng Liu, Microsoft Corporation, zliu@mocrosoft.com;  (12) Lijuan Wang, Microsoft Corporation, lijuanw@mocrosoft.com.   Nota do editor: esta é a parte 2 de 13 dun traballo que avalía o uso dunha IA xerativa para navegar por teléfonos intelixentes. Podes ler o resto do artigo a través da táboa de ligazóns a continuación.  Táboa de ligazóns   Resumo e 1 Introdución   2 Traballos relacionados  3 MM-Navegador   3.1 Formulación de problemas e 3.2 Conexión a terra da pantalla e navegación a través do conxunto de marcas   3.3 Xeración de historia mediante a auto-resumo multimodal  4 Experimento de navegación na pantalla de iOS   4.1 Configuración experimental   4.2 Descrición da acción prevista   4.3 Execución de accións localizadas e 4.4 O estado actual con GPT-4V  5 Experimento de navegación na pantalla de Android   5.1 Configuración experimental   5.2 Comparación do rendemento   5.3 Estudos de ablación   5.4 Análise de erros   6 Discusión   7 Conclusión e referencias  2 Traballos relacionados    A navegación GUI autónoma implica un modelo que segue instrucións para manobrar a través de diferentes interfaces gráficas de usuario, como sitios web ou aplicacións, para realizar a tarefa consultada polo usuario. Os puntos de referencia actuais recolleron instrucións sintéticas ou xeradas por usuarios do mundo real para avaliar as habilidades dos modelos para identificar elementos específicos da IU (Shi et al., 2017; Li et al., 2020; Bai et al., 2021) ou acadar obxectivos xerais da tarefa mediante interactuando cunha serie de vistas da GUI (Li et al., 2020; Burns et al., 2021; Venkatesh et al., 2022 Deng et al., 2023 Rawles et al., 2023). Para comprender a información visual destas vistas da GUI, unha liña de traballo adopta unha estrutura modelo que pode procesar entradas multimodais (Sun et al., 2022; Redmon et al., 2016). Outros métodos céntranse en converter o texto e as iconas da escena da IU no formato HTML só de texto, como os LLM dun só módulo poden procesar estas entradas de texto para a navegación da GUI (Zhang et al., 2021; Rawles et al., 2023; Wen et al. al., 2023). Navegación GUI autónoma.    Os avances recentes nos LLM (Brown et al., 2020; OpenAI, 2023a; Chowdhery et al., 2022; Anil et al., 2023; Touvron et al., 2023; Hoffmann et al., 2022) catalizaron a exploración do LLM. sistemas de axentes baseados en (Madaan et al., 2023; Shinn et al., 2023). al., 2023; Yao et al., 2023; Pryzant et al., 2023; ., 2023; Yang et al., 2023a), que integran o razoamento lóxico e externo ferramentas para unha variedade de tarefas lingüísticas complexas. Inspirados polo éxito no dominio da PNL, os investigadores multimodais afondan nos axentes multimodais. A liña de investigación comeza cos axentes multimodais baseados en LLM (Gupta e Kembhavi, 2023; Surís et al., 2023; Wu et al., 2023; Yang* et al., 2023; Shen et al., 2023; Lu et al., 2023; ., 2023 Yu et al., 2023 Li et al., 2023), como MM-ReAct (Yang* et al., 2023) para o razoamento visual avanzado e Visual ChatGPT (Wu et al., 2023) para a xeración e edición visual iterativa. Impulsados polos rápidos avances dos LMM (Alayrac et al., 2022; Driess et al., 2023; OpenAI, 2023a,b,c; gpt, 2023; Yang et al., 2023c; Google, 2023), os últimos estudos teñen comezou a investigar os axentes multimodais alimentados por LMM (Yang et al., 2023; Liu et al., 2023), superando así a necesidade de ferramentas de descrición visual básicas como modelos de subtítulos (Wang et al., 2022a; Wu et al., 2022). A nosa metodoloxía proposta representa un axente especializado baseado en LMM para a navegación da GUI. Pretendemos ofrecer unha análise exhaustiva e unha base sólida para esta tarefa. Axentes multimodais.  Este documento está   baixo a licenza CC BY 4.0 DEED. dispoñible en arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

FEW SHOT .tech

Este audio está producido na lingua orixinal da historia!

Coñece a IA que realmente pode usar o teu teléfono intelixente para ti

About Author

COMENTARIOS

Etiquetas colgantes

ESTE ARTIGO FOI PRESENTADO EN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Tech Companies Community!

Coñece R Systems: HackerNoon empresa da semana

HackerNoon Decoded 2024: Celebrating Our Gaming Community!

HackerNoon Decoded 2024: Celebrating Our Writing Community!

HackerNoon Decoded 2024: Celebrating Our Tech Companies Community!

Coñece R Systems: HackerNoon empresa da semana

HackerNoon Decoded 2024: Celebrating Our Gaming Community!

HackerNoon Decoded 2024: Celebrating Our Writing Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps