左のテーブル Abstract and 1. Introduction and Related Work 概要 
 
 
 
 
 
 
 
 
 
 
 Methodology 2.1 LLM-Sim Task 2.2 Data 2.3 Evaluation 
 
 Experiments 
 
 Results 
 
 Conclusion 
 
 Limitations and Ethical Concerns, Acknowledgements, and References A.モデル詳細 B.ゲーム移行の例 C.ゲームルール世代 D スピード E. GPT-3.5 の結果 A.ヒストグラム 5 結論 6 制限と倫理的懸念 6.1 制限 この仕事は、明示的な公式シミュレータとして機能する能力において、GPT-3.5とGPT-4の2つの強力な文脈学習LLMを考慮しています。これらのモデルは、一般的に様々なベンチマークで最もパフォーマンスの高いシェルフモデルであるため、これらのモデルを採用します。我々は、GPT-3.5とGPT-4が提案されたタスクで謙虚なスコアを達成したことを観察する一方で、我々は、大規模な言語モデルの幅広い選択肢を徹底的に評価しなかったことを認識し、他のモデルはより良いパフォーマンスを提供します。我々は、現在および将来のモデルのパフォーマンスを正確にシミュレーションするタスクで評価するためのベンチマーク この作品では、我々は、州空間を代表するための2つの代表的な形式主義を提案し、一つは完全な州空間を含む一方で、もう一つは、両方ともJSONオブジェクトを使用して代表される状態の違いに焦点を当てている。我々は、これらの表現の普及とほとんどのLLMプレトレーニングデータの入力および出力形式との互換性に基づいて、これらの表現を選択しました(例えば、Fakhoury et al., 2023)、および評価のためのゴールドスタンダードシミュレータの出力と直接比較することが可能であるにもかかわらず、他の代表的な形式がシミュレーションタスクでよりパフォーマンスがある可能性があります。 最後に、この作品で生み出された状態空間は、常識と初期(基本)の科学的推論の領域に焦点を当てています。これらのタスク、例えばコンテナを開くか、またはアクティベーションデバイスは、これらの行動の結果が共通の知識であり、モデルはこれらのアクションをシミュレートする上で最もパフォーマンスがある可能性があるため、選択されました。この作品は、より頻繁なアクションや属性の選択を扱っているが、それは、物理的または医学的シミュレーションなどの高度なドメイン特有の領域のシミュレータとしてLLMを使用することに取り組んでいません。この作業の長期目標は、高影響域のシミュレータとして言語モデルの使用を促進することであり、我々はこの 6.2 倫理的懸念 私たちは、私たちの仕事から生じる直接の倫理的または社会的影響を予測しません。しかしながら、私たちは、LLMアプリケーションとして、提案されたLLM-Simタスクは、ユーザーが選択した特定のLLMによって導入された誤解や幻覚によって何らかの方法で影響を受ける可能性があることを認識しています。私たちの仕事は、LLMをテキストベースの世界シミュレータとして使用することの問題を強調しています。ゲームシミュレーションなどの下流タスクでは、LLMは誤解または非事実的な情報を生成する可能性があります。例えば、シミュレータが家を燃やして水を沸かすことを示唆する場合、私たちの仕事はこれを防止しません、また私たちは、そのような潜在的に危険な提案の倫理的影響を評価しません。結果として 認定 我々は、この論文の以前の草案についての有益なコメントのための3人の匿名のレビュー者に感謝したい。 参照 Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, et al. 2023 Gpt-4技術レポート. arXiv preprint arXiv:2303.08774. Ashutosh Adhikari、Xingdi Yuan、Marc-Alexandre Côté、Mikuláš Zelinka、Marc-Antoine Rondeau、Romain Laroche、Pascal Poupart、Jian Tang、Adam Trischler、およびWill Hamilton。2020 テキストベースのゲームに一般化するダイナミックな信念グラフを学ぶ。神経情報処理システムの進歩、33:3045-3057. Prithviraj AmmanabroluとMatthew Hausknecht. 2020. Graph constrained reinforcement learning for natural language action spaces. arXiv preprint arXiv:2001.08837. Marc-Alexandre Côté、 Ákos Kádár、Xingdi Yuan、Ben Kybartas、Tavian Barnes、Emery Fine、James Moore、Ruo Yu Tao、Matthew Hausknecht、Layla El Asri、Mahmoud Adada、Wendy Tay、Adam Trischler 2018. Textworld: テキストベースのゲームのための学習環境. CoRR, abs/1806.11532. Sarah Fakhoury, Saikat Chakraborty, Madan Musuvathi, and Shuvendu K Lahiri. 2023年. 自然言語出題の記述から機能的に正しいコード編集を生成する方向へ. arXiv preprint arXiv:2304.03816. Angela Fan, Jack Urbanek, Pratik Ringshia, Emily Dinan, Emma Qian, Siddharth Karamcheti, Shrimai Prabhumoye, Douwe Kiela, Tim Rocktaschel, Arthur Szlam, and Jason Weston. 2020 テキストでインタラクティブな世界を生み出す AAAI 人工知能会議のプロセス, 34(02):1693-1700. Shibo Hao, Yi Gu, Haodi Ma, Joshua Hong, Zhen Wang, Daisy Wang, and Zhiting Hu. 2023 言語モデルによる推論は、世界モデルによる計画である。 アトヒュー・ハスクネッツ、プリスヴィラージ・アマナブロウ、マルク・アレクサンドル・コテ、シンディ・ユアン。2020年 インタラクティブ・フィクション・ゲーム:巨大な冒険 人工知能に関するAAAI会議の手続き 34巻 7903-7910ページ Peter Jansen. 2022. 自然言語環境としてのテキスト世界の体系的な調査. In Proceedings of the 3rd Wordplay: When Language Meets Games Workshop (Wordplay 2022), pages 1–15. レスリー・パック・ケルブリング、マイケル・L・リットマン、アンソニー・R・カサンドラ 1998. 部分的に観察可能なストーカスティック領域での計画と行動. 人工知能, 101(1-2):99–134. Bo Liu, Yuqian Jiang, Xiaohan Zhang, Qiang Liu, Shiqi Zhang, Joydeep Biswas, and Peter Stone. 2023. Llm+ p: 最適な計画能力を持つ大型言語モデルを強化する. arXiv preprint arXiv:2304.11477. Kolby Nottingham, Prithviraj Ammanabrolu, Alane Suhr, Yejin Choi, Hannaneh Hajishirzi, Sameer Singh, and Roy Fox. 2023. Do embodied agents dream of pixelated sheep: embodied decision making using language guided world modeling. In International Conference on Machine Learning, pages 26311–26325. PMLR. マシン学習に関する国際会議では、ピクセル化された羊の夢を見る。 Mohit Shridhar, Xingdi Yuan, Marc-Alexandre Côté, Yonatan Bisk, Adam Trischler, and Matthew Hausknecht. 2020 Alfworld: Aligning text and embodied environments for interactive learning. arXiv preprint arXiv:2010.03768. Hao Tang, Darren Key, and Kevin Ellis. 2024 Worldcoder, a model-based llm agent: Building world models by writing code and interacting with the environment. arXiv preprint arXiv:2402.12275. Jack Urbanek, Angela Fan, Siddharth Karamcheti, Saachi Jain, Samuel Humeau, Emily Dinan, Tim Rocktäschel, Douwe Kiela, Arthur Szlam, and Jason Weston. 2019 ファンタジーテキストの冒険ゲームで話すことと行動を学ぶ。 Karthik Valmeekam, Matthew Marquez, Sarath Sreedharan, and Subbarao Kambhampati. 2023 大型言語モデルの計画能力に関する重要な調査. 神経情報処理システムの進歩, 36:75993–76005. Nick Walton. 2020. AI Dungeon 2 を 1 万人を超えるユーザーをサポートするためのスケールアップ方法 Ruoyao Wang, Peter Jansen, Marc-Alexandre Côté, and Prithviraj Ammanabrolu. 2022. Scienceworld: Is your agent smarter than a 5th grade? In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, pages 11279–11298. 科学世界:あなたのエージェントは5年生より賢いですか? Ruoyao Wang, Graham Todd, Xingdi Yuan, Ziang Xiao, Marc-Alexandre Côté, and Peter Jansen. 2023. ByteSized32: Task-specific world models expressed as text games. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pages 13455–13471, Singapore. Association for Computational Linguistics. テキストゲームとして表現されるタスク特有の世界モデルを生成するためのコルプスと挑戦のタスク。 Lionel Wong, Gabriel Grand, Alexander K Lew, Noah D Goodman, Vikash K Mansinghka, Jacob Andreas, and Joshua B Tenenbaum. 2023 単語モデルから世界モデルへ:自然言語から確率的な思考言語への翻訳. arXiv preprint arXiv:2306.12672. 
 
 
 
 
 
 
 
 
 著者: (1)Ruoyao Wang、アリゾナ大学(ruoyaowang@arizona.edu) (2)グラハム・トッド、ニューヨーク大学(gdrtodd@nyu.edu) (3)ジアン・シアオ、ジョン・ホプキンス大学(ziang.xiao@jhu.edu) (4) Xingdi Yuan、Microsoft Research Montréal(eric.yuan@microsoft.com) (5)Marc-Alexandre Côté、Microsoft Research Montréal(macote@microsoft.com) (6) Peter Clark, Allen Institute for AI (PeterC@allenai.org) (7)ピーター・ヤンセン、アリゾナ大学およびアレンのAI研究所(pajansen@arizona.edu) Authors: イギリス・アリゾナ大学( ) ; ウォーキング@arizona.edu (2)グラハム・トッド、ニューヨーク大学(gdrtodd@nyu.edu) (3)ジアン・シアオ、ジョン・ホプキンス大学(ziang.xiao@jhu.edu) (4) マイクロソフト リサーチ モントリオール ( ) ; エリック.yuan@microsoft.com マイクロソフト・リサーチ・モントリオール(Microsoft Research Montréal) ) ; macote@microsoft.com について (5) ピーター・クラーク、アレンのAI研究所( ) ; ; ウィリアムズ@allenai.org (7)ピーター・ヤンセン、アリゾナ大学およびアレンのAI研究所( ( ) トップページ > アリゾナ.edu 
 
 この論文は、CC BY 4.0 ライセンスの下で archiv で提供されています。 この紙は CC BY 4.0 ライセンス ARCHIV で利用可能 ARCHIV で利用可能

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

このオーディオは、ストーリーの元の言語で制作されています。

長すぎる; 読むには

Make resilience your competitive advantage

AIモデルはまだハイスタックシミュレーションでは信頼できない

About Author

コメント

ラベル

この記事は

Related Stories

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

ワークフローを10倍に向上させる方法: 必須アプリ17選

暗号通貨の成長: 効果的なユーザーペルソナの作成

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

ワークフローを10倍に向上させる方法: 必須アプリ17選

暗号通貨の成長: 効果的なユーザーペルソナの作成

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps