著者:  (1) アン・ヤン、カリフォルニア大学サンディエゴ校、ayan@ucsd.edu。  （2）Zhengyuan Yang、Microsoft Corporation、zhengyang@microsoft.com、同額の寄付。  (3) Wanrong Zhu、UC サンタバーバラ校、wanrongzhu@ucsb.edu。  （4）ケビン・リン、マイクロソフトコーポレーション、keli@microsoft.com  (5) Microsoft Corporation、Linjie Li、lindsey.li@mocrosoft.com。  (6) Jianfeng Wang、Microsoft Corporation、jianfw@mocrosoft.com。  (7) Jianwei Yang、Microsoft Corporation、jianwei.yang@mocrosoft.com。  (8) Yiwu Zhong、ウィスコンシン大学マディソン校、yzhong52@wisc.edu。  （9）ジュリアン・マコーリー、カリフォルニア大学サンディエゴ校、jmcauley@ucsd.edu  (10) Jianfeng Gao、Microsoft Corporation、jfgao@mocrosoft.com。  (11) Zicheng Liu、Microsoft Corporation、zliu@mocrosoft.com。  (12) Lijuan Wang、Microsoft Corporation、lijuanw@mocrosoft.com。 編集者注: これは、スマートフォンを操作するための生成 AI の使用を評価する論文の 13 部構成のうちの 2 部目です。論文の残りの部分は、以下のリンクの表から読むことができます。 リンク一覧 要約と1 はじめに 2 関連研究 3 MMナビゲーター 3.1 問題の定式化と 3.2 マークのセットによるスクリーングラウンディングとナビゲーション 3.3 マルチモーダル自己要約による履歴生成 4 iOS 画面ナビゲーション実験 4.1 実験のセットアップ 4.2 意図するアクションの説明 4.3 ローカライズされたアクションの実行と 4.4 GPT-4V の現在の状態 5 Android 画面ナビゲーション実験 5.1 実験のセットアップ 5.2 パフォーマンス比較 5.3 アブレーション研究 5.4 エラー分析 6 議論 7 結論と参考文献 2 関連研究 自律的な GUI ナビゲーションでは、モデルが指示に従って、Web サイトやアプリケーションなどのさまざまなグラフィカル ユーザー インターフェイスを操作し、ユーザーが問い合わせたタスクを実行します。現在のベンチマークでは、合成または実際のユーザー生成の指示を収集して、特定の UI 要素を識別するモデルの能力 (Shi ら、2017 年、Li ら、2020 年、Bai ら、2021 年)、または一連の GUI ビューを操作して包括的なタスク目標を達成するモデルの能力 (Li ら、2020 年、Burns ら、2021 年、Venkatesh ら、2022 年、Deng ら、2023 年、Rawles ら、2023 年) を評価しました。これらの GUI ビューからの視覚情報を理解するために、ある研究では、マルチモーダル入力を処理できるモデル構造を採用しています (Sun et al., 2022; Redmon et al., 2016)。他の方法では、UI シーンのテキストとアイコンをテキストのみの HTML 形式に変換することに重点を置いています。たとえば、単一モジュール LLM は、GUI ナビゲーション用にこれらのテキスト入力を処理できます (Zhang et al., 2021; Rawles et al., 2023; Wen et al., 2023)。 自律的な GUI ナビゲーション。  LLM の最近の進歩 (Brown et al., 2020; OpenAI, 2023a; Chowdhery et al., 2022; Anil et al., 2023; Touvron et al., 2023; Hoffmann et al., 2022) は、LLM ベースのエージェント システムの探求を促進しました (Madaan et al., 2022)。 al., 2023; Shinn et al., 2023; Pan et al., 2023; Yao et al., 2022; Schick et al., 2023; Paranjape et al., 2023; Pryzant et al., 2023; Guo et al., 2023; Zhao et al., 2023; Yang et al., 2023a)、推論を統合します。マルチモーダルは、さまざまな複雑な言語タスクに対応するロジックと外部ツールを備えています。NLP ドメインでの成功に触発され、マルチモーダル研究者はマルチモーダル エージェントの研究に取り組んでいます。この研究は、高度な視覚的推論のための MM-ReAct (Yang* et al., 2023) や反復的な視覚生成と編集のための Visual ChatGPT (Wu et al., 2023) などの LLM ベースのマルチモーダル エージェント (Gupta and Kembhavi, 2023; Surís et al., 2023; Wu et al., 2023; Yang* et al., 2023; Shen et al., 2023; Lu et al., 2023; Yu et al., 2023; Li et al., 2023) から始まります。 LMM の急速な進歩 (Alayrac et al., 2022; Driess et al., 2023; OpenAI, 2023a,b,c; gpt, 2023; Yang et al., 2023c; Google, 2023) に後押しされて、最新の研究では LMM を利用したマルチモーダル エージェント (Yang et al., 2023; Liu et al., 2023) の調査が開始され、キャプション モデル (Wang et al., 2022a; Wu et al., 2022) などの基本的な視覚的記述ツールの必要性がなくなりました。私たちが提案する方法論は、GUI ナビゲーションに特化した LMM ベースのエージェントを表しています。私たちは、このタスクのための包括的な分析と強力なベースラインを提供することを目指しています。 マルチモーダルエージェント。 この論文は、CC BY 4.0 DEED ライセンスの下で 。 arxiv で公開されています

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

FEW SHOT .tech

このオーディオは、ストーリーの元の言語で制作されています。

スマートフォンを実際に活用できるAIをご紹介します

About Author

コメント

ラベル

この記事は

Related Stories

ワークフローを10倍に向上させる方法: 必須アプリ17選

Telegram: クリプト島と本土を結ぶ橋

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

ワークフローを10倍に向上させる方法: 必須アプリ17選

Telegram: クリプト島と本土を結ぶ橋

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps