
 
 
 
 
 
 
 
 
 
 
 
 Författare : (1) Winnie Street, Google Research John Oliver Siy, Google Research (3) Geoff Keeling, Google Research (4) Adrien Baranes, Google DeepMind (5) Benjamin Barnett, Google Research (6) Michael Mckibben, Applied Physics Lab, Johns Hopkins University; (7) Tatenda Kanyere, Arbete gjort på Google Research via Harvey Nash; (8) Alison Lentz, Google Research (9) Blaise Aguera y Arcas, Google Research (10) Robin I. M. Dunbar, Institutionen för experimentell psykologi, University of Oxford istreet@google.com. Authors: (1) Winnie Street, Google Research John Oliver Siy, Google Research (3) Geoff Keeling, Google Research (4) Adrien Baranes, Google DeepMind (5) Benjamin Barnett, Google Research (6) Michael Mckibben, Applied Physics Lab, Johns Hopkins University; (7) Tatenda Kanyere, Arbete gjort på Google Research via Harvey Nash; (8) Alison Lentz, Google Research (9) Blaise Aguera y Arcas, Google Research (10) Robin I. M. Dunbar, Institutionen för experimentell psykologi, University of Oxford istreet@google.com. Tabell från vänster Abstrakt och 1. introduktion 
 
 
 Relaterat arbete Material och metod 3.1 Förfaranden 3.2 Dataset skapande 4 Resultat 4.1 ToM uppgiftsprestanda 4.2 Faktiska uppgifter 4.3 Jämför prestanda på ToM och faktiska uppgifter och 4.4 Förankringseffekt 5.  Diskussionen 6.  Begränsningar 7. framtida forskning 8. slutsatser, erkännanden och offentliggörande av finansiering och referenser bilaga Abstrakt Detta papper undersöker i vilken utsträckning stora språkmodeller (LLM) har utvecklat högre ordningsteori om sinnet (ToM); den mänskliga förmågan att resonera om flera mentala och känslomässiga tillstånd på ett återkommande sätt (t.ex. jag tror att du tror att hon vet). Detta papper bygger på tidigare arbete genom att introducera en handskriven testpaket – Multi-Order Theory of Mind Q&A – och använda den för att jämföra prestandan hos fem LLM till en nyligen samlad vuxen mänsklig benchmark. Vi finner att GPT-4 och Flan-PaLM når vuxennivå och nära vuxennivåprestanda på ToM-uppgifter i allmänhet, och att GPT-4 överstiger vuxenprestanda på 6: e ordningens inferenser. Våra resultat tyder 1 Introduktion Teori om sinnet (ToM) är förmågan att dra slutsatser och resonemang om mentala tillstånd av sig själv och andra [Premack och Woodruff, 1978, Wimmer och Perner, 1983, Wellman et al., 2001]. ToM är centralt för mänsklig social intelligens: det gör det möjligt för människor att förutsäga och påverka beteende [Humphrey, 1976, Wellman och Bartsch, 1988, Hooker et al., 2008]. Majoriteten av litteraturen om LLM ToM har fokuserat på 2: a ordning ToM [Sap et al., 2022, Kosinski, 2023, Gandhi et al., 2024, Shapira et al., 2023], där "ordningen av avsikt" (hädanefter, "ordningen") är antalet mentala tillstånd som är involverade i en ToM resonemangsprocess (dvs. en tredje ordning uttalande är "Jag tror att hon vet"). I denna artikel undersöker vi LLM ToM från order 2-6. Vi introducerar ett nytt referensvärde: Multi-Order Theory of Mind Question & Answer (MoToMQA). MoToMQA är baserat på ett ToM-test som är utformat för mänskliga vuxna [Kinderman et al., 1998], och innebär att svara på sanna / falska frågor om karaktärer i korta berättelser. Vi bedömer hur ToM-ordningen påverkar LLM-prestanda, hur LLM-prestanda jämförs med mänsklig prestanda och hur LLM-prestanda på ToM-uppgifter jämförs med prestanda på faktiska uppgifter av motsvarande syntaxkomplexitet. Vi visar att GPT-4 och Flan-PaLM når mänsklig eller nära mänsklig prestanda på ToM-uppgifter respektive. 2 Relaterat arbete 2.1 Högre ordning ToM Mänskliga vuxna kan i allmänhet göra ToM-inledningar upp till 5 ordningar av intentionalitet (t.ex. jag tror att du tror att jag tror att du vill att jag ska tro) [Kinderman et al., 1998, Stiller och Dunbar, 2007, Oesch och Dunbar, 2017].[1] Högre ordning ToM-kompetens varierar inom befolkningen, inklusive efter kön [Hyde och Linn, 1988, Stiller och Dunbar, 2007], och är inte tillförlitligt utplacerad över alla sociala sammanhang [Keysar et al., 2003]. ToM vid högre ordningar är också positivt korrelerad med social komplexitet. Spårning av övertygelser och önskningar hos flera individer på en gång underlättar gruppförhandlingar, gruppbindning och tydligt mänskligt beteende och kulturella institutioner, inklusive 2.2 LLM ToM Kostirinski tokinski [2023] argumenterade för spontana ToM-data i LLMs baserat på GPT-4: s framgång på en uppsättning uppgifter inspirerade av den klassiska Sally-Anne-uppgiften.[2] Ullman [2023] utmanade detta påstående, vilket visade minskad prestanda med mindre arbetsstörningar. Ytterligare experiment som involverar benchmark-paket som BigToM [Gandhi et al., 2024] och SocialIQa [Sap et al., 2022] visar blandade resultat i LLM ToM-funktioner. Till exempel Shapira et al. [2023] fann framgång på vissa uppgifter men misslyckande på andra, vilket tyder på att befintliga ToM-funktioner i nuvarande studie-of-the-art LLMs inte är robusta. Till vår vetskap har Slutligen kalibrerar vi LLM-resultaten mot en stor nyligen samlad vuxen mänsklig referensvärde. Vi tror att jämförelsen av LLM-prestanda med den hos vuxna, snarare än barn, är det mest relevanta måttet för LLM social intelligens med tanke på att LLM: s primära interaktionspartners kommer att vara vuxna, och är en mer konkret jämförelsepunkt eftersom mänskliga högre order ToM-kapaciteter fortsätter att utvecklas till tidig vuxen ålder [Valle et al., 2015]. Vi antar dock inte att samma kognitiva processer ligger till grund för mänsklig och LLM-prestanda på psykologiska tester. 
 
 Den här artikeln finns tillgänglig på archiv under CC BY 4.0-licens. Detta papper är med CC BY 4.0 licens. available on arxiv Tillgänglig i Arkiv [1] Vi följer namngivningskonventionen för order som utvecklats för IMT där "första ordningen" är det mentala tillståndet hos den person vars ToM-förmåga bedöms, "andra ordningen" är ämnets slutsats om vad någon annan tycker eller känner, och så vidare. [2] ”Sally Ann-uppgiften”, ursprungligen utformad av Baron-Cohen et al. [1985] mäter falsk troförståelse och följer ett scenario där en karaktär, Sally, placerar ett objekt på en plats och lämnar scenen. [3] Pretraining datasatser som är förorenade med material som LLMs senare testas på är en live-utgåva i LLM forskning som har betydande konsekvenser för resultaten av LLMs på referensvärden. till exempel OpenAI rapporterade att de fann delar av BigBench datasats som förorenar GPT-4 pre-training corpora i en föroreningskontroll av datasatsen som används för att förtrena GPT-4 [Achiam et al., 2023]

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

EScholar Technologies

EScholar

Det här ljudet är producerat på berättelsens originalspråk!

Kan man tänka på att tänka?

About Author

KOMMENTARER

HÄNG TAGGAR

DENNA ARTIKEL PRESENTERAS I

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps