
 
 
 
 
 
 
 
 
 
 
 
 A szerzők: (1) Winnie Street, Google kutatás John Oliver Siy, a Google kutatása Geoff Keeling, a Google kutatása Adrien Baranes, a Google DeepMind vezetője Benjamin Barnett, a Google kutatása (6) Michael Mckibben, alkalmazott fizikai laboratórium, Johns Hopkins Egyetem; (7) Tatenda Kanyere, a Google Research Harvey Nash segítségével végzett munkája; Alison Lentz, a Google kutatása Blaise Aguera y Arcas, Google kutatás Robin I. M. Dunbar, az Oxfordi Egyetem Kísérleti Pszichológia Tanszéke istreet@google.com. Authors: (1) Winnie Street, Google kutatás John Oliver Siy, a Google kutatása Geoff Keeling, a Google kutatása Adrien Baranes, a Google DeepMind vezetője Benjamin Barnett, a Google kutatása (6) Michael Mckibben, alkalmazott fizikai laboratórium, Johns Hopkins Egyetem; (7) Tatenda Kanyere, a Google Research Harvey Nash segítségével végzett munkája; Alison Lentz, a Google kutatása Blaise Aguera y Arcas, Google kutatás Robin I. M. Dunbar, az Oxfordi Egyetem Kísérleti Pszichológia Tanszéke istreet@google.com. Baloldali asztal Absztrakt és 1. Bevezetés 
 
 
 Kapcsolódó munka Anyagok és módszerek 3.1 Eljárások 3.2 Adatbázis létrehozása 4. Eredmények 4.1 A feladat teljesítése 4.2 Tényleges feladatok teljesítése 4.3 A ToM és a tényleges feladatok teljesítményének összehasonlítása és 4.4 Anchoring hatás 5.  Vitatkozás 6.  7. Határok 7. Jövőbeli kutatások 8. Következtetés, elismerések és a finanszírozás közzététele, valamint hivatkozások Melléklet absztrakt Ez a tanulmány megvizsgálja, hogy a nagy nyelvi modellek (LLM-ek) milyen mértékben fejlesztik a magasabb rendű elméleti elméletet (ToM); az emberi képesség, hogy többszörös mentális és érzelmi állapotokról rekurzív módon gondolkodjanak (például azt hiszem, azt hiszi, hogy tudja). Ez a tanulmány az előző munkára épül egy kézzel írt tesztcsomag bevezetésével – a Multi-Order Theory of Mind Q&A – és azt használja, hogy összehasonlítsa az öt LLM teljesítményét egy újonnan összegyűjtött felnőtt emberi referenciaértékkel. Megállapítjuk, hogy a GPT-4 és a Flan-PaLM elérik a felnőtt szintű és a felnőtt szintű teljesítményt a ToM 1 Bevezetés Az elme elmélet (ToM) az a képesség, hogy következtetni és érvelni a mentális állapotok magad és mások [Premack és Woodruff, 1978, Wimmer és Perner, 1983, Wellman és társai, 2001]. ToM központi szerepet játszik az emberi szociális intelligencia: lehetővé teszi az emberek, hogy megjósolni és befolyásolja a viselkedés [Humphrey, 1976, Wellman és Bartsch, 1988, Hooker és társai, 2008]. A nagy nyelvi modellek (LLM-ek) bizonyos ToM kompetenciát mutatnak [Kosinski, 2023, Bubeck és társai, 2023, Shapira és társai, 2023]. Az LLM ToM-re vonatkozó irodalom nagy része a 2. sorrendű ToM-re összpontosított [Sap és társai, 2022, Kosinski, 2023, Gandhi és társai, 2024, Shapira és társai, 2023], ahol a „szándékos szándék sorrendje” (a továbbiakban: „rend”) a ToM érvelési folyamatban részt vevő mentális állapotok száma (azaz a harmadik sorrendű nyilatkozat „Azt hiszem, hogy tudja”). Mégis az LLM-eket egyre inkább kihasználják a több fél közötti társadalmi interakciók kontextusaihoz, amelyek megkövetelik az LLM- Ebben a cikkben az LLM ToM-et a 2-6. sorrendből vizsgáljuk. Bemutatunk egy új referenciamutatót: a Multi-Order Theory of Mind Question & Answer (MoToMQA). A MoToMQA egy emberi felnőtteknek tervezett ToM tesztre alapul [Kinderman et al., 1998], és a rövid történetekben szereplő karakterekkel kapcsolatos igaz/hamis kérdések megválaszolását foglalja magában. Értékeljük, hogy a ToM-rend befolyásolja az LLM teljesítményét, hogy az LLM teljesítménye hogyan hasonlít az emberi teljesítményre, és hogy az LLM teljesítménye a ToM feladatokon hogyan hasonlít az egyenértékű szintaxis összetettségű tényleges feladatokon. Megmutatjuk, hogy a GPT-4 és a Flan-PaLM 2 Kapcsolódó munkák 2.1 Magasabb rendű ToM Az emberi felnőttek általában képesek arra, hogy ToM következtetéseket legfeljebb 5 sorrendben szándékosság (például azt hiszem, azt hiszed, azt hiszem, hogy azt hiszem, hogy azt akarod, hogy higgyek) [Kinderman et al., 1998, Stiller és Dunbar, 2007, Oesch és Dunbar, 2017].[1] A magasabb rendű ToM kompetencia változik a lakosság körében, beleértve a nemek [Hyde és Linn, 1988, Stiller és Dunbar, 2007], és nem kerül megbízhatóan bevezetésre minden társadalmi kontextusban [Keysar et al., 2003]. A ToM magasabb sorrendben is pozitívan összefügg a társadalmi összetettséggel. 2.2 LLM TOM Kostirinski [2023] kijavította az adatokat a spontán ToM megjelenéséről az LLM-ekben, a GPT-4-nek a klasszikus Sally-Anne-feladat által ihletett feladatok előzetes sikerére alapozva.[2] Ullman [2023] megkérdőjelezte ezt az állítást, bemutatva a kisebb feladatok zavarásával járó csökkenő teljesítményt. További kísérletek, amelyek olyan referenciacsomagokat foglalnak magukban, mint a BigToM [Gandhi et al., 2024] és a SocialIQa [Sap et al., 2022], vegyes eredményeket mutattak az LLM ToM képességeiben. Például Shapira et al. [2023] találtak sikereket néhány feladatra, de kudarcokat másokon, ami azt sugallja, hogy a meglévő ToM kép Végül kalibráljuk az LLM eredményeit egy nagy, újonnan összegyűjtött felnőtt emberi referenciaértékhez képest. Úgy véljük, hogy az LLM teljesítményének összehasonlítása a felnőttek, nem pedig a gyermekek teljesítményével az LLM szociális intelligenciájának legmegfelelőbb mércéje, mivel az LLM elsődleges interakciós partnerei felnőttek lesznek, és konkrétabb összehasonlítási pont, mert az emberi magasabb rendű ToM képességek továbbra is fejlődnek a korai felnőttkorba [Valle et al., 2015]. Nem feltételezzük azonban, hogy ugyanazok a kognitív folyamatok alátámasztják az emberi és LLM teljesítményt pszichológiai teszteken. 
 
 Ez a dokumentum a CC BY 4.0 licenc alatt érhető el. Ez a papír az CC BY 4.0 licenc alatt. available on arxiv Elérhető archívum [1] Kövessük az IMT számára kifejlesztett parancsok megnevezési konvencióját, ahol az „első sorrend” annak az alanynak a mentális állapota, akinek a ToM képességét értékelik, a „második sorrend” az alany következtetése arról, hogy valaki más mit gondol vagy érzi, és így tovább. [2] A „Sally Ann feladat”, amelyet eredetileg Baron-Cohen és társai terveztek. [1985] a hamis meggyőződés megértését méri, és egy olyan forgatókönyvet követi, ahol egy karakter, Sally, egy objektumot helyez el egy helyen, és elhagyja a jelenetet. [3] Az olyan anyagokkal szennyezett előképzési adatkészletek, amelyeken az LLM-eket később tesztelik, az LLM-kutatás élő kiadása, amelynek jelentős következményei vannak az LLM-ek eredményeire a referenciaértékek tekintetében. Például az OpenAI arról számolt be, hogy a BigBench adatkészlet részei a GPT-4 előképzési testületet szennyezték a GPT-4 előképzésére használt adatkészlet szennyeződésének ellenőrzésében [Achiam et al., 2023]

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

EScholar Technologies

EScholar

Ez a hanganyag a történet eredeti nyelvén készült!

Képes gondolkodni a gondolkodásról?

About Author

HOZZÁSZÓLÁSOK

HANG TAGOK

EZT A CIKKET BEMUTATTA

Related Stories

INTRODUCTION

THE HABITS OF INSECTS IN RELATION TO THE FERTILISATION OF FLOWERS

Hubble Protocol, a DeFi project on Solana Raises $10 Million Led By Crypto.com Capital, DCG and CMS

A SECOND ENIGMA

INTRODUCTION

THE HABITS OF INSECTS IN RELATION TO THE FERTILISATION OF FLOWERS

Hubble Protocol, a DeFi project on Solana Raises $10 Million Led By Crypto.com Capital, DCG and CMS

A SECOND ENIGMA

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps