Mualliflar:  (1) An Yan, San-Diego, ayan@ucsd.edu;  (2) Zhengyuan Yang, Microsoft korporatsiyasi, zhengyang@microsoft.com teng hissa bilan;  (3) Wanrong Zhu, UC Santa Barbara, wanrongzhu@ucsb.edu;  (4) Kevin Lin, Microsoft korporatsiyasi, keli@microsoft.com;  (5) Linjie Li, Microsoft korporatsiyasi, lindsey.li@mocrosoft.com;  (6) Jianfeng Vang, Microsoft korporatsiyasi, jianfw@mocrosoft.com;  (7) Jianwei Yang, Microsoft korporatsiyasi, jianwei.yang@mocrosoft.com;  (8) Yivu Zhong, Viskonsin-Madison universiteti, yzhong52@wisc.edu;  (9) Julian McAuley, UC San-Diego, jmcauley@ucsd.edu;  (10) Jianfeng Gao, Microsoft korporatsiyasi, jfgao@mocrosoft.com;  (11) Zicheng Liu, Microsoft korporatsiyasi, zliu@mocrosoft.com;  (12) Lijuan Vang, Microsoft korporatsiyasi, lijuanw@mocrosoft.com.   Tahrirlovchi eslatmasi: Bu smartfonlarda harakatlanish uchun generativ AIdan foydalanishni baholovchi maqolaning 13-qismining 2-qismi. Maqolaning qolgan qismini quyidagi havolalar jadvali orqali o'qishingiz mumkin.  Havolalar jadvali   Annotatsiya va 1 Kirish   2 Tegishli ish  3 MM-Navigator   3.1 Muammoni shakllantirish va 3.2 Ekranni yerga ulash va Belgilar to'plami orqali navigatsiya   3.3 Multimodal o'z-o'zini umumlashtirish orqali tarixni yaratish  4 iOS ekran navigatsiyasi tajribasi   4.1 Eksperimental sozlash   4.2 Ko'zda tutilgan harakat tavsifi   4.3 Mahalliylashtirilgan harakatni bajarish va 4.4 GPT-4V bilan joriy holat  5 Android ekranida navigatsiya tajribasi   5.1 Eksperimental sozlash   5.2 Samaradorlikni taqqoslash   5.3 Ablatsiya bo'yicha tadqiqotlar   5.4 Xatolarni tahlil qilish   6 Munozara   7 Xulosa va foydalanilgan adabiyotlar  2 Tegishli ish    Avtonom GUI navigatsiyasi foydalanuvchi tomonidan so'ralgan vazifani bajarish uchun veb-saytlar yoki ilovalar kabi turli grafik foydalanuvchi interfeyslari orqali manevr qilish uchun ko'rsatmalarga rioya qilgan modelni o'z ichiga oladi. Joriy mezonlar UI elementlarini aniqlashda modellarning qobiliyatlarini baholash uchun sintetik yoki real dunyo foydalanuvchi tomonidan ishlab chiqarilgan ko'rsatmalarni to'pladi (Shi va boshq., 2017; Li va boshq., 2020; Bai va boshq., 2021) yoki umumiy vazifalarga erishish bir qator GUI ko'rinishlari bilan o'zaro ta'sir qilish (Li va boshq., 2020; Burns va boshq., 2021; Venkatesh va boshq., 2022; Rawles va boshqalar., 2023; Ushbu GUI ko'rinishlaridan vizual ma'lumotni tushunish uchun ishning bir yo'nalishi multimodal kirishlarni qayta ishlay oladigan model tuzilmasini qabul qiladi (Sun va boshq., 2022; Redmon va boshq., 2016). Boshqa usullar UI sahnasi matni va piktogrammalarini faqat matnli HTML formatiga aylantirishga qaratilgan, masalan, bitta modulli LLMlar GUI navigatsiyasi uchun ushbu matn kiritishlarini qayta ishlashlari mumkin (Zhang va boshq., 2021; Rawles va boshq., 2023; Wen et al. al., 2023). Avtonom GUI navigatsiyasi.    LLMdagi so'nggi yutuqlar (Brown va boshq., 2020; OpenAI, 2023a; Chowdhery va boshq., 2022; Anil va boshq., 2023; Touvron va boshq., 2023; Hoffmann va boshq., 2022) LLMni tadqiq qilishni katalizladi. -asoslangan agent tizimlari (Madaan va boshq., 2023; Shinn va boshqalar, 2023; Pryzant va boshqalar., 2023; Zha; va boshq., 2023, Yang va boshq., 2023a) integratsiyalashgan turli murakkab til vazifalari uchun mantiqiy fikrlash va tashqi vositalar. NLP domenidagi muvaffaqiyatdan ilhomlanib, multimodal tadqiqotchilar multimodal agentlarni o'rganishadi. Tadqiqot liniyasi LLMga asoslangan multimodal agentlardan boshlanadi (Gupta va Kembhavi, 2023; Surís va boshq., 2023; Wu va boshq., 2023; Yang* va boshq., 2023; Shen va boshqalar, 2023; Lu va boshqalar. ., 2023; Yu va boshq., 2023; Li va boshq., 2023), masalan Ilg'or vizual fikrlash uchun MM-ReAct (Yang* va boshq., 2023) va takroriy vizual yaratish va tahrirlash uchun Visual ChatGPT (Wu va boshq., 2023). LMMlarning jadal rivojlanishi (Alayrac va boshq., 2022; Driess va boshq., 2023; OpenAI, 2023a, b,c; gpt, 2023; Yang va boshq., 2023c; Google, 2023), so'nggi tadqiqotlar LMM bilan ishlaydigan multimodal agentlarni tekshirishni boshladilar (Yang va boshqalar, 2023; Liu va boshq., 2023), shu bilan sarlavha modellari kabi asosiy vizual tavsif vositalariga bo'lgan ehtiyojdan oshib ketadi (Vang va boshq., 2022a; Wu va boshq., 2022). Bizning taklif etayotgan metodologiyamiz GUI navigatsiyasi uchun maxsus LMM asosidagi agentni ifodalaydi. Biz ushbu vazifa uchun keng qamrovli tahlil va kuchli asosni taqdim etishni maqsad qilganmiz. Multimodal agentlar.  Ushbu hujjat   . arxivda CC BY 4.0 DEED litsenziyasi ostida mavjud

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

FEW SHOT .tech

Ushbu audio hikoyaning asl tilida yaratilgan!

Smartfoningizdan siz uchun foydalana oladigan AI bilan tanishing

About Author

IZOHLAR

TEGI QILISH

USHBU MAQOLA TAQDIM ETILGAN

Related Stories

Meet UzairaAdvisory, Startups of The Year 2024 Nominee

Meet UzairaAdvisory, Winner of Startups of The Year 2024 in Business

Meet Uzi World Digital, Winner of Startups of the year 2024 in Kolkata, West Bengal, India

Meet UzairaAdvisory, Startups of The Year 2024 Nominee

Meet UzairaAdvisory, Winner of Startups of The Year 2024 in Business

Meet Uzi World Digital, Winner of Startups of the year 2024 in Kolkata, West Bengal, India

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps