
 
 
 
 
 
 
 
 
 
 
 
 Autori : (1) Winnie Street, Google pētījumi; John Oliver Siy, Google pētījumi; (3) Geoff Keeling, Google pētījumi (4) Adrien Baranes, Google DeepMind; (5) Benjamin Barnett, Google pētījumi; (6) Michael Mckibben, Lietotās fizikas laboratorija, Džons Hopkinsas universitāte; (7) Tatenda Kanyere, Darbs, kas veikts Google Research ar Harvey Nash starpniecību; (8) Alison Lentz, Google pētījumi; Blaise Aguera y Arcas, Google pētījumi; (10) Robin I. M. Dunbar, Eksperimentālās psiholoģijas departaments, Oksfordas Universitāte istreet@google.com. Authors: (1) Winnie Street, Google pētījumi; John Oliver Siy, Google pētījumi; (3) Geoff Keeling, Google pētījumi (4) Adrien Baranes, Google DeepMind; (5) Benjamin Barnett, Google pētījumi; (6) Michael Mckibben, Lietotās fizikas laboratorija, Džons Hopkinsas universitāte; (7) Tatenda Kanyere, Darbs, kas veikts Google Research ar Harvey Nash starpniecību; (8) Alison Lentz, Google pētījumi; Blaise Aguera y Arcas, Google pētījumi; (10) Robin I. M. Dunbar, Eksperimentālās psiholoģijas departaments, Oksfordas Universitāte istreet@google.com. Kreisā galda Abstrakts un 1. ievads 
 
 
 Saistītie darbi Materiāli un metode 3.1 Procedūras 3.2 Datu kopu izveide 4 Rezultāti 4.1 ToM uzdevumu veiktspēja 4.2 Faktiskā uzdevuma izpilde 4.3 ToM un faktisko uzdevumu veiktspējas salīdzināšana un 4.4 Ankorēšanas efekts 5.  Diskusija 6.  Nākotnes pētījumi 8. secinājumi, atzīšana un finansējuma izpaušana un atsauces pielikums Abstraktā Šis dokuments pārbauda, cik lielā mērā lieli valodas modeļi (LLM) ir izstrādājuši augstākā līmeņa prāta teoriju (ToM); cilvēka spēju domāt par vairākiem garīgajiem un emocionālajiem stāvokļiem recursīvā veidā (piemēram, es domāju, ka jūs domājat, ka viņa zina). Šis dokuments balstās uz iepriekšējo darbu, ieviešot roku rakstītu testu komplektu – Multi-Order Theory of Mind Q&A – un izmantojot to, lai salīdzinātu piecu LLM veiktspēju ar nesen apkopotu pieaugušo cilvēka kritēriju. Mēs konstatējam, ka GPT-4 un Flan-PaLM sasniedz pieaugušo līmeņa un pieaugušo līmeņa veiktspēju par ToM uzdevumiem kopumā, un ka GPT-4 pārsniedz pieaugušo 1 Ievads Prāta teorija (ToM) ir spēja secināt un saprast par garīgajiem stāvokļiem sev un citiem [Premack un Woodruff, 1978, Wimmer un Perner, 1983, Wellman et al., 2001]. ToM ir cilvēka sociālās inteliģences centrā: tas ļauj cilvēkiem paredzēt un ietekmēt uzvedību [Humphrey, 1976, Wellman un Bartsch, 1988, Hooker et al., 2008]. Lielākā daļa literatūras par LLM ToM ir vērsta uz 2. kārtas ToM [Sap et al., 2022, Kosinski, 2023, Gandhi et al., 2024, Shapira et al., 2023], kur "mērķa kārtība" (turpmāk tekstā - "pasūtījums") ir garīgo stāvokļu skaits, kas iesaistīti ToM pamatojuma procesā (t.i., trešās kārtas paziņojums ir "Es domāju, ka viņa zina"). Tomēr LLM tiek arvien vairāk izmantoti daudzpusējai sociālajai mijiedarbībai, kas prasa LLM iesaistīties augstākā kārtībā ToM pamatojuma [Wang et al., 2023, Park et al., 2023]. Šajā rakstā mēs pārbaudām LLM ToM no pasūtījumiem 2-6. Mēs ieviešam jaunu kritēriju: Multi-Order Theory of Mind Question & Answer (MoToMQA). MoToMQA ir balstīta uz ToM testu, kas paredzēts cilvēku pieaugušajiem [Kinderman et al., 1998], un ietver atbildi uz patiesiem / nepatiesiem jautājumiem par rakstzīmēm īsu formu stāstos. Mēs novērtējam, kā ToM pasūtījums ietekmē LLM veiktspēju, kā LLM veiktspēja salīdzina ar cilvēka veiktspēju, un kā LLM veiktspēja uz ToM uzdevumiem salīdzina ar veiktspēju uz faktiskiem uzdevumiem ar līdzvērtīgu sintaktisko sarežģītību. Mēs parādām, ka GPT-4 un Flan-PaLM sasniedz cilvēka vai tu 2 Saistītie darbi 2.1 Augstākā kārtība Cilvēku pieaugušie parasti spēj izdarīt ToM secinājumus līdz pat pieciem nodomu secinājumiem (piemēram, es domāju, ka jūs domājat, ka es domāju, ka jūs vēlaties, lai es ticu) [Kinderman et al., 1998, Stiller and Dunbar, 2007, Oesch and Dunbar, 2017].[1] Augstākā ranga ToM kompetence mainās iedzīvotāju vidū, tostarp pēc dzimuma [Hyde and Linn, 1988, Stiller and Dunbar, 2007], un nav uzticami izvietota visos sociālajos kontekstos [Keysar et al., 2003]. ToM augstākajos secinājumos ir arī pozitīvi saistīta ar sociālo sarežģītību. 2.2 LLM TOM Kostirinski [2023] argumentēja par datu spontānu ToM parādīšanos LLM, pamatojoties uz GPT-4 panākumiem, kas iedvesmoti no klasiskā Sally-Anne uzdevuma.[2] Ullman [2023] apstrīdēja šo apgalvojumu, demonstrējot samazinātu veiktspēju ar nelieliem uzdevumu traucējumiem. Turpmākie eksperimenti, kas saistīti ar etalonu kompleksiem, piemēram, BigToM [Gandhi et al., 2024] un SocialIQa [Sap et al., 2022], liecina par jauktiem rezultātiem LLM ToM spējās. Piemēram, Shapira et al. [2023] atrada panākumus dažos uzdevumos, bet neveiksmes citos, norādot, ka esošās ToM spējas pašreizējā pētījuma LLM [Gandhi et Visbeidzot, mēs kalibrējam LLM rezultātus pret lielu nesen savākto pieaugušo cilvēka kritēriju. Mēs uzskatām, ka LLM veiktspējas salīdzināšana ar pieaugušo veiktspēju, nevis bērnu, ir vispiemērotākais LLM sociālās inteliģences rādītājs, ņemot vērā, ka LLM galvenie mijiedarbības partneri būs pieaugušie, un tas ir konkrētāks salīdzināšanas punkts, jo cilvēka augstākās klases ToM spējas turpina attīstīties agrīnā pieaugušā vecumā [Valle et al., 2015]. Tomēr mēs neuzskatām, ka tie paši kognitīvie procesi pamato cilvēka un LLM veiktspēju psiholoģiskajos testos. 
 
 Šis dokuments ir pieejams arhivā ar CC BY 4.0 licenci. Šis dokuments ir pieejams arhivā ar CC BY 4.0 licenci. Pieejams arhīvā [1] Mēs sekojam nosaukšanas konvencijai, kas izstrādāta IMT, kur “pirmais rādītājs” ir subjekta garīgais stāvoklis, kura ToM spēja tiek novērtēta, “otrais rādītājs” ir subjekta secinājums par to, ko kāds cits domā vai jūtas, un tā tālāk. [2] “Sally Ann uzdevums”, ko sākotnēji izstrādājis Baron-Cohen et al. [1985], mēra nepatiesas ticības izpratni un seko scenārijam, kurā raksturs, Sally, ievieto objektu noteiktā vietā un atstāj ainu. [3] Pirmsskolas datu kopas, kas ir piesārņotas ar materiāliem, uz kuriem LLM vēlāk tiek pārbaudīti, ir tiešraides jautājums LLM pētījumos, kam ir būtiska ietekme uz LLM rezultātiem par atsauces punktiem.

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

EScholar Technologies

EScholar

Šis audio ir izveidots stāsta oriģinālvalodā!

Vai cilvēks var domāt par domāšanu?

About Author

KOMENTĀRI

PAKARINĀT TAGUS

ŠIS RAKSTS TIKS PĀRSTRĀDĀTS

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps