
 
 
 
 
 
 
 
 
 
 
 
 著者: (1)ウィニー・ストリート、Google Research ジョン・オリバー・シー(Google Research) (3)Geoff Keeling、Google Research (4)Adrien Baranes、Google DeepMind (5) ベンジャミン・バーネット、Google Research (6)マイケル・マッキーベン(Michael Mckibben), Applied Physics Lab, Johns Hopkins University (7) Tatenda Kanyere, Google Research で Harvey Nash を通じて行われた研究 (8) Alison Lentz、Google Research ブレイズ・アグエラ・ヤ・アーカス(Blaise Aguera y Arcas) Google Research (10) Robin I. M. Dunbar, Department of Experimental Psychology, University of Oxford istreet@google.com。 Authors: (1)ウィニー・ストリート、Google Research ジョン・オリバー・シー(Google Research) (3)Geoff Keeling、Google Research (4)Adrien Baranes、Google DeepMind (5) ベンジャミン・バーネット、Google Research (6)マイケル・マッキーベン(Michael Mckibben), Applied Physics Lab, Johns Hopkins University (7) Tatenda Kanyere, Google Research で Harvey Nash を通じて行われた研究 (8) Alison Lentz、Google Research ブレイズ・アグエラ・ヤ・アーカス(Blaise Aguera y Arcas) Google Research (10) Robin I. M. Dunbar, Department of Experimental Psychology, University of Oxford istreet@google.com。 左のテーブル 抽象と1 導入 
 
 
 関連作品 材料と方法 3.1 手続き 3.2 データセットの作成 4.結果 4.1 ToM タスクの実行 4.2 実務実績 4.3 ToMおよび事実上のタスクにおけるパフォーマンスの比較と 4.4 Anchoring effect 5.  議論 6.  限界7 将来の研究8 結論、承認、資金調達の開示、および参照 附属書 抽象 この論文は、大規模な言語モデル(LLMs)がより高い秩序の心の理論(ToM)を開発した範囲を調べている;複数の精神的および感情的状態についてリクルーシブな方法で推論する人間の能力(たとえば、あなたは彼女が知っていると思う) この論文は、手書きのテスト スイート - Multi-Order Theory of Mind Q&A - を導入し、それを使用して、GPT-4とFlan-PaLMが全体的にToMのタスクで成人レベルと成人レベルに近いパフォーマンスに達し、GPT-4が6番目の順序で成人のパフォーマンスを上回ることに基づいています。私たちの結果は、ToM能力の実現のためのモデルサイズと 1 導入 心の理論(ToM)は、自己と他人の精神状態について推測し、推論する能力である(Premack and Woodruff, 1978, Wimmer and Perner, 1983, Wellman et al., 2001)。 大規模な言語モデル(LLMs)は、いくつかのToM能力を示す [Kosinski, 2023, Bubeck et al., 2023, Shapira et al., 2023]. LLM ToMに関する文献のほとんどは、2nd-order ToMに焦点を当てている [Sap et al., 2022, Kosinski, 2023, Gandhi et al., 2024, Shapira et al., 2023]、そこで「意図の順序」(以下、「順序」)は、TOM推論プロセスに関与する精神状態の数(すなわち、3rd-orderの声明は「私は彼女が知っていると思う」です)。 この論文では、私たちは2〜6の順序からLLM ToMを検討します。私たちは新しいベンチマークを導入します:Multi-Order Theory of Mind Question & Answer(MoToMQA)。MoToMQAは、成人用に設計されたToMテスト(Kinderman et al., 1998)に基づいており、短い形態のストーリーにおけるキャラクターに関する真実/偽の質問に答えることが含まれています。私たちは、ToMの順序がLLMのパフォーマンスにどのように影響を与えるか、LLMのパフォーマンスが人間のパフォーマンスにどのように比較されるか、およびToMのタスクにおけるLLMのパフォーマンスが同等の合成複雑さの事実上のタスクにおけるパフォーマンス 2 関連作品 2.1 高級トム 一般的に、人間の成人は、意図性の5つの順序までToMの推定をすることができる(例えば、あなたが私を信じたいと思っていると思っていると信じる) [Kinderman et al., 1998, Stiller and Dunbar, 2007, Oesch and Dunbar, 2017].[1] Higher-order ToM competence varies within the population, including by gender [Hyde and Linn, 1988, Stiller and Dunbar, 2007], and is not deployed reliably across all social contexts [Keysar et al., 2003]. ToM at higher orders is also positively correlated with social complexity. Tracking the beliefs and desires of multiple individuals at once facilitates group negotiations, group bonding, and distinctly human behaviors and cultural institutions, including humor, religion and storytelling [Corballis, 2017, Dunbar 2.2 LLMトム Kostirinski(2023)は、クラシックのSally-Anne タスクにインスピレーションを与えたタスクのセットに基づいて、GPT-4の成功に基づいて、LLMsにおける自発的なToMの出現を主張した.[2] Ullman(2023)は、この主張に異議を唱え、小規模なタスクの干渉でパフォーマンスが低下したことを示した。BigToM(Gandhi et al., 2024)とSocialIQa(Sap et al., 2022)のようなベンチマークスイートを含むさらなる実験は、現在の研究のLLMsの既存のToM機能が強力ではないことを示している。私たちの知る限りでは、LLM ToMの新しい対応をより高いオーダーで調べた2つの 最後に、私たちは、LLMの結果を新しく集めた大人の人間の基準に比べてカリブレートします。私たちは、LLMのパフォーマンスを成人よりも子供のパフォーマンスと比較することは、LLMの主な相互作用パートナーが成人であることを考慮して、LLMの社会知能のための最も適切な基準であると信じています、そして、より具体的な比較ポイントは、人間のより高い順位のToM能力が早期成人期に発展し続けているためです [Valle et al., 2015] ですが、私たちは、同一の認知プロセスが心理学的テストで人間とLLMのパフォーマンスを裏付けていると仮定しません。 
 
 この論文は、CC BY 4.0 ライセンスの下で archiv で提供されています。 この紙は CC BY 4.0 ライセンス ARCHIV で利用可能 ARCHIV で利用可能 [1] 私たちは、IMTのために開発された命令のための命名条約に従い、「1番目の順序」は、ToM能力が評価されている主体の精神状態であり、「2番目の順序」は、他の誰かが何を考えているかや感じているかについての主体の推論であり、それに反して、反対に、いくつかの学者たちは、主体の精神状態のための「0番目の順序」から始まります。 「サリー・アン・タスク」は、元々Baron-Cohen et al. [1985]によって設計され、誤った信念理解を測定し、シナリオに従い、キャラクターであるサリーが物体を場所に置き、サリーが不在している間、アンは物体を移動します。 [3] LLMs が後にテストされる材料で汚染されているプレトレーニングデータセットは、LLMs がベンチマークに関する結果に重大な影響を与えるLLM研究のライブエピソードです。例えば、OpenAI は、GPT-4 をプレトレーニングするために使用されたデータセットの汚染チェックで、BigBench データセットの一部が GPT-4 プレトレーニング体を汚染していることを発見したと報告しました [Achiam et al., 2023]

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

EScholar Technologies

EScholar

このオーディオは、ストーリーの元の言語で制作されています。

考えることはできるのか?

About Author

コメント

ラベル

この記事は

Related Stories

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps